2015/07/31


Java - String.format("%d", i)で数字が出てくると思ってたら死んだ話 - Qiita
http://qiita.com/tnj/items/022b906ac5435a429369

数字がロケール文字になったり、toLowerCase() や toUpperCase() の結果がロケール文字になったりするだけじゃないんだぜ。

import java.util.Locale;

public class Foo {
    public static void main(String[] args) {
        Locale.setDefault(new Locale("pt", "BR"));
        String csv = String.format("%s,%f", "hello", 1.23);
        System.out.println(csv);
    }
}

とあるヨーロッパ南米のロケールではこの結果がこうなる。

hello,1,230000
(　ﾟдﾟ) 

(つд⊂)ｺﾞｼｺﾞｼ 
　 
(；ﾟдﾟ) 
hello,1,230000
(つд⊂)ｺﾞｼｺﾞｼ 
　　_, ._ 
（；ﾟ Дﾟ） …？! 
hello,1,230000 　　_, ._ 
(つд⊂)ｺﾞｼｺﾞｼｺﾞｼｺﾞｼｺﾞｼｺﾞｼｺﾞｼｺﾞｼ 

(　　д　) 
　 　　　 
(；　Д　) ！ 


(；　Д　)ｶｵｶｵｶｵｶｵ 
　Ｕ_, ._Ｕ 
　　ﾟ 　ﾟ 
　　_, ._ 
(つд⊂)ｺﾞｼｺﾞｼｺﾞｼｺﾞｼｺﾞｼｺﾞｼｺﾞｼｺﾞｼ 

　　_, ._ 
（；ﾟ Дﾟ） 

結論 ポルトガル語怖い。

参考資料

幾らかのヨーロッパロケールで小数点が機能しない · Issue #172 · vim-jp/issues · GitHub
https://github.com/vim-jp/issues/issues/172
Posted at by



2015/07/28


Ruby 製バッチ処理を省メモリ化した - 彼女からは、おいちゃんと呼ばれています

少し前に Ruby 製の バッチ処理 を省メモリ化したときの話をメモしておきます。 どのような バッチ処理 だったか 動画共有サイト にアップされた動画がオトナの事情によって削除されることがしばしばあ...

http://blog.inouetakuya.info/entry/2015/07/26/204320

ActiveRecord の each は全件、find_each はデフォルトで1000件をインスタンス化するので、HTML をパースしたDOMツリーが1000件もメモリに乗ったらそりゃ OOM Killer で殺されても文句は言えないかもしれない。

ActiveRecord::Batches

The find_each method uses find_in_batches with a batch size of 1000 (or as specified by the :batch_size option).

http://api.rubyonrails.org/classes/ActiveRecord/Batches.html

試しにキャッシュと呼んでおられる @doc の中身を表示すると

  def doc
    p @doc
    # 動画配信元ページの HTML をキャッシュ
    @doc ||= Nokogiri::HTML(open(source_url))
  end
 #<Nokogiri::HTML::Document:0x149ddbc name="document" children...
#<Nokogiri::HTML::Document:0x11abd6c name="document" children...
#<Nokogiri::HTML::Document:0xdbcd8c name="document" children=...

毎回異なるメモリのアドレス値が表示されており全くキャッシュに意味が無い事が分かる。上記の通り find_each の仕様ならばきちんと1000個の DOM ツリーがメモリに乗っている事になる。

class Video < ActiveRecord::Base
  after_initialize do
    doc ||= Nokogiri::HTML(open(source_url))
    @deleted = doc.at_css('.message').try(:text).try(:match, 'This video has been deleted')
    @removed = doc.title.match 'Removed'
  end

  def deleted?
    match_removed? || match_deleted?
  end

  def existing?
    !deleted?
  end

  private

  def match_deleted?
    @deleted
  end

  def match_removed?
    @removed
  end
end

こんな感じに使ったらすぐに doc を捨ててしまうか、batch_size の数を減らして一度にインスタンス化される数を制限する事で解決しそうな気がします(こちらは未検証)。

Video.find_each(batch_size: 5) do |video|
  video.delete! unless video.existing?
end
改訂3版基礎 Ruby on Rails (IMPRESS KISO SERIES) 改訂3版基礎 Ruby on Rails (IMPRESS KISO SERIES)
黒田 努, 佐藤 和人, 株式会社オイアクス
インプレス 単行本（ソフトカバー） / ￥40 (2015年05月22日)
 
発送可能時間：

Posted at by



2015/07/03


ちょっと書き物をする用事があって、markdown で書かなきゃいけなかったんですが

  • 余計なインストールの手間が不要で
  • 余計な設定は一切不要で
  • 使い勝手は Linux や Windows 全て同じで
  • 出来れば Markdown 保存したら自動更新されて
  • GitHub Flavour Markdown でコードハイライトト
  • GitHub Flavour Markdown でテーブル表記

こういうのが欲しくて、あるアプリケーションを見つけたんだけど外部の JavaScript を使ってる上にそのリソースURLが無くなり動かなくなってて困ったので作った。

今後もこういう事あるだろうし、自分用に作っておくべきだと思った。書き物をする予定だったのに気付いたら作ってたのでしょうがない。僕のせいではない。

mattn/mkup - GitHub

README.md mkup Portable Markdown Previweer Usage 1 mkup Installation 1 go get github.com/mattn/mkup ...

https://github.com/mattn/mkup
$ mkup

でカレントディレクトリ配下のファイルがサーブされます。.md, .mkd, .markdown の拡張子が付いたファイルは GitHub Flavour Markdown で綺麗に表示されます。ただし GitHub の API は使いません。ブラウザで http://localhost:8000 を開いておけばファイル更新後に勝手にリロードされます。テーブルタグもサポートしていますし、コードハイライトもサポートしています。ただし Google Code Prettify なので誤爆はあり得ます。

尚、mkup は JavaScript や CSS といった全てのリソースを実行モジュール内に保持していますので、Windows であれば exe ファイル1個あればどこでもプレビュー出来ますし、ちょっと別のPCで作業する必要があるって時にも exe ファイルだけコピーすればすぐ Markdown を書きが始められます。

自分専用なので最少の機能しかないですが、よろしければどうぞ。リリースにバイナリが置いてあるので持ってってください。

Releases - mattn/mkup - GitHub
https://github.com/mattn/mkup/releases
Posted at by