Big Sky

Web::Scraper使うときに、scraperコマンドを使って頑張る人もいれば、FirebugのDOMツリーで「XPathをコピー」とやっている人もいるでしょう。
前者の場合、端末でスクロールアウトするHTMLを見ながらXPathをこさえて間違ったらズラズラズラ…と画面が流れて行ってしまいます。後者の場合は、CLASSやID属性を使わないXPathが出来上がってしまいます。
映画に出てくるHackerの如く一発でXPathを決められればそれは素晴らしい事だと思いますが、いかんせん幾度か失敗しますよね。
で、何回もXPathを確かめられるツールが欲しいなと思い、perl-GTK2で作ってみました。

画面はこんな感じ

引数に「http://b.hatena.ne.jp/」を付けて起動したらこんな感じ

URLを変更して「Get」をクリックすれば再読み込みします。
そして、はてなブックマークトップページの「注目の動画」部分にある画像一覧を取得する為に

//a[text()="注目の動画"]/../../..//img

というXPathを書いて「Update」をクリックすれば

こんな感じのHTMLが出来上がります。
あとはこれをWeb::Scraperのprocess部分に貼っつけるだけ。

ちなみにXPathでの属性値参照も出来ますので、はてなブックマークトップページで

//meta[@http-equiv="Content-Type"]/@content

というXPathを書けば

content="text/html; charset=UTF-8"

という結果が返ります。
起動にはCPANからGtk2モジュールをインストールする必要があります。HTMLのパース方法やノードの取得方法等は大体Web::Scraperと合わせていますので、Web::Scraperが動く環境にGtk2をインストールすれば動くかと思います。
また画面はLinux上で起動した物ですが、UN*Xらしい事は一切やってませんのでWindowsでも動作するかと思います。

ダウンロード：WebScraperHelper.pl

もう少し機能を足そうかと思いましたが、今日はもうギブアップ。寝ます。

実は、gtktwitterはユーザエージェント対応を結構前からやっておりまして、いつになったら「from GtkTwitter」と表示されるんだ...まってるよAlex君と、ただただ待っていたのですが、どうやらメールしないと取り込んで貰えない事が分かりまして、メールしました。金曜に「次のデプロイでリンクされるよ。ありがとう。」と浜村淳ばりの返事を貰いました。
そしてようやく...



これでようやく他のアプリに仲間入りした感じです。

gtktwitter-0.0.7.tar.gz
gtktwitter-0.0.7-1.src.rpm

linux用もごもごクライアント、GtkMogo2のバージョン0.0.1をリリースします。

使い方は...感覚で分かるかと思います。

gtkmogo2-0.0.1.tar.gz
gtkmogo2-0.0.1-1.src.rpm


コードリポジトリはgtktwitterと共に、Google Project Hostingに移行しましたので、後日追ってお知らせいたします。

もごもごがやってくれました。
twitter互換APIを公開してくれました。

「もごもごはやるときゃやるよ」、「もごもごだけは違うよ」、「もごもごにはスピリッツがあるよ」とか、色々言われてましたが(大嘘)、とうとうやってくれました。

さ・ら・に...

続きを読む...

• 設定ファイルにユーザID/パスワードを保存

gtktwitter-0.0.6.tar.gz
gtktwitter-0.0.6-1.src.rpm


さっ...３時。寝る!!

あと、子供の帽子に首ゴムを縫いつけ終わったら寝る!!!

• 3分毎にIf-None-Match(もしくはIf-Modified-Since)の自動更新
• friendsのステータスを閲覧出来るように改良
• URLをtinyurl.comで短縮するように改良

gtktwitter-0.0.5.tar.gz
gtktwitter-0.0.5-1.src.rpm