Big Sky

2008/10/27

XML::Feed 0.22でAtomフィードが複数のsubjectを返せる様になった

以前、「はてなブックマークをPlaggerで同期する際の注意点」という記事で書いたXML::Feed::Atomが複数のsubjectを返せない件で、送ったパッチが取り込まれました。厳密にはちょっと変えられてますが。
はてなブックマークのRSSフィードにはblockquote引用文が含まれており、Atomを使った方が良いという記事でしたが難点としてPlaggerで使用しているXML::Feed::Atomには複数のsubjectつまりタグを返せる仕組みがなかった為、別のソーシャルブックマークへポストした際にタグが削られてしまう事になっていました。
簡単な例で言うと


use strict;

use warnings;

use XML::Feed;

my $feed = XML::Feed->parse(URI->new('http://b.hatena.ne.jp/mattn/atomfeed'))

    or die XML::Feed->errstr;

for my $entry ($feed->entries) {

  print $entry->link."\n";

  print "[$_]" for $entry->category;

  print $entry->summary->{body};

  print "\n";

}

というコードに対して、以前までのXML::Feed::Atomだと


http://b.hatena.ne.jp/mattn/20081024#bookmark-10541285

[coderepos]

http://b.hatena.ne.jp/mattn/20081024#bookmark-10541123

[coderepos]

http://b.hatena.ne.jp/mattn/20081024#bookmark-10538485

[wsgi]

http://b.hatena.ne.jp/mattn/20081024#bookmark-10534904

[googleappengine]

http://b.hatena.ne.jp/mattn/20081024#bookmark-10531400

[]てかRSS意識しすぎｗ そんなに気になるか。

http://b.hatena.ne.jp/mattn/20081024#bookmark-7152814

[webfont]

http://b.hatena.ne.jp/mattn/20081024#bookmark-10530774

[vimperator]Include this patch f*ck でok

http://b.hatena.ne.jp/mattn/20081023#bookmark-10527748

[perl]

http://b.hatena.ne.jp/mattn/20081023#bookmark-10529111

[chrome]

http://b.hatena.ne.jp/mattn/20081023#bookmark-10522215

[catalyst]

http://b.hatena.ne.jp/mattn/20081023#bookmark-10520297

[dojo]

http://b.hatena.ne.jp/mattn/20081023#bookmark-10516769

[igoogle]

http://b.hatena.ne.jp/mattn/20081023#bookmark-10513534

[ruby]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10512893

[merb]merbでscaffold

http://b.hatena.ne.jp/mattn/20081022#bookmark-10512804

[merb]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10512802

[merb]

http://b.hatena.ne.jp/mattn/20081022#bookmark-9671938

[merb]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10512759

[merb]

http://b.hatena.ne.jp/mattn/20081022#bookmark-9696628

[merb]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10512388

[perl]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10498444

[lighttpd]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10504059

[]prototype.jsかぁ…。

http://b.hatena.ne.jp/mattn/20081022#bookmark-10502783

[]

http://b.hatena.ne.jp/mattn/20081021#bookmark-10489204

[vimperator]rcが先す

http://b.hatena.ne.jp/mattn/20081021#bookmark-10488856

[softbank]

http://b.hatena.ne.jp/mattn/20081021#bookmark-10484808

[blosxom]

http://b.hatena.ne.jp/mattn/20081021#bookmark-10488095

[]

http://b.hatena.ne.jp/mattn/20081020#bookmark-7686515

[テスト]TeSt

http://b.hatena.ne.jp/mattn/20081019#bookmark-10465795

[]

http://b.hatena.ne.jp/mattn/20081019#bookmark-10460236

[perl]

こんな形にタグが1つ以上出力されず、しかも空の配列として得られたりしていましたが、XML::Feed 0.22以降だと


http://b.hatena.ne.jp/mattn/20081024#bookmark-10541285

[coderepos][oops]

http://b.hatena.ne.jp/mattn/20081024#bookmark-10541123

[coderepos]

http://b.hatena.ne.jp/mattn/20081024#bookmark-10538485

[wsgi]

http://b.hatena.ne.jp/mattn/20081024#bookmark-10534904

[googleappengine][appengine]

http://b.hatena.ne.jp/mattn/20081024#bookmark-10531400

てかRSS意識しすぎｗ そんなに気になるか。

http://b.hatena.ne.jp/mattn/20081024#bookmark-7152814

[webfont]

http://b.hatena.ne.jp/mattn/20081024#bookmark-10530774

[vimperator]Include this patch f*ck でok

http://b.hatena.ne.jp/mattn/20081023#bookmark-10527748

[perl]

http://b.hatena.ne.jp/mattn/20081023#bookmark-10529111

[chrome]

http://b.hatena.ne.jp/mattn/20081023#bookmark-10522215

[catalyst]

http://b.hatena.ne.jp/mattn/20081023#bookmark-10520297

[dojo]

http://b.hatena.ne.jp/mattn/20081023#bookmark-10516769

[igoogle][google]

http://b.hatena.ne.jp/mattn/20081023#bookmark-10513534

[ruby][rails]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10512893

[merb]merbでscaffold

http://b.hatena.ne.jp/mattn/20081022#bookmark-10512804

[merb]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10512802

[merb]

http://b.hatena.ne.jp/mattn/20081022#bookmark-9671938

[merb]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10512759

[merb]

http://b.hatena.ne.jp/mattn/20081022#bookmark-9696628

[merb]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10512388

[perl][twitter][wassr]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10498444

[lighttpd]

http://b.hatena.ne.jp/mattn/20081022#bookmark-10504059

prototype.jsかぁ…。

http://b.hatena.ne.jp/mattn/20081022#bookmark-10502783



http://b.hatena.ne.jp/mattn/20081021#bookmark-10489204

[vimperator]rcが先す

http://b.hatena.ne.jp/mattn/20081021#bookmark-10488856

[softbank]

http://b.hatena.ne.jp/mattn/20081021#bookmark-10484808

[blosxom]

http://b.hatena.ne.jp/mattn/20081021#bookmark-10488095



http://b.hatena.ne.jp/mattn/20081020#bookmark-7686515

[テスト]TeSt

http://b.hatena.ne.jp/mattn/20081019#bookmark-10465795



http://b.hatena.ne.jp/mattn/20081019#bookmark-10460236

[perl]

こんな感じの出力になります。今回の修正により手放しで、はてなブックマークAtomフィードをdelicios等にポスト出来る様になります。

めでたしめでたし

Posted at by mattn

2008/10/16

Windows版のlessでもutf-8なファイルを見れるようにする

追記

色付き表示(-R)を使った場合に対応出来てなかった様です。msmhrtさんが修正済みのパッチを書いてくれているのでそちらを使った方が良いです。

私は日常コマンドプロンプト(cygwinは使わない)で暮らすという間違ったWindowsの使い方をしているのですが、最近のソフトウェア配布物に含まれるソースやREADME.jaは殆どがutf-8で書かれており、特にPerlやPython等と言ったソースからドキュメントを見せる様な代物だと、現状utf-8が見れないWindows版のlessでは苦しかったりします。
本当ならば色んな文字コードに対応するのが良いかと思うのですが、最近Shift_JISやEUC-JPで書かれているコードも無いだろうし、もしあったとしてもそれは特例で


C:¥> nkf -s example.c | less

すれば言いだけですし...問題はデフォルトでutf8なコードが見れるページャ、かつ見ようと思えばShift_JISなファイルも見れるページャが欲しかったんです。
lessは文字コードの扱いとしてutf-8のみ特別な扱い方をしているのですが、それに用いられている utf-8 <=> ucs な関数があります。Windowsのwchar_tは2バイトですがサロゲートペアさえなければ見れるはず。

Downloading less
http://www.greenwoodsoftware.com/less/download.html

からソースを落として以下のパッチを当ててビルド


diff -u less-418.org/Makefile.wnm less-418/Makefile.wnm

--- less-418.org/Makefile.wnm   2007-06-16 07:06:23.000000000 +0900

+++ less-418/Makefile.wnm   2008-10-16 14:13:28.562500000 +0900

@@ -6,7 +6,7 @@

 CC = cl

 

 # Normal flags

-CFLAGS = /nologo /ML /W3 /GX /O2 /I "." /D "WIN32" /D "NDEBUG" /D "_CONSOLE" /c

+CFLAGS = /nologo /MT /W3 /EHsc /O2 /I "." /D "WIN32" /D "NDEBUG" /D "_CONSOLE" /D"_CRT_SECURE_NO_WARNINGS" /c

 LDFLAGS = /subsystem:console /incremental:no /machine:I386

 

 # Debugging flags

@@ -14,7 +14,7 @@

 #LDFLAGS = /subsystem:console /incremental:yes /debug /machine:I386

 

 LD = link

-LIBS = user32.lib

+LIBS = user32.lib /nodefaultlib:libc.lib

 

 #### End of system configuration section. ####

 

diff -u less-418.org/screen.c less-418/screen.c

--- less-418.org/screen.c   2008-01-01 09:50:42.000000000 +0900

+++ less-418/screen.c   2008-10-16 18:55:27.562500000 +0900

@@ -2489,7 +2489,18 @@

    int len;

 {

 #if MSDOS_COMPILER==WIN32C

-   WriteConsole(con_out, text, len, NULL, NULL);

+   extern int utf_mode;

+   if (utf_mode) {

+       int n, m;

+       char* limit = text + len;

+       wchar_t *wtext = (wchar_t*) malloc((len * 2 + 1) * sizeof(wchar_t));

+       for (n = 0, m = 0; *text && n < len; n++)

+           wtext[m++] =  (wchar_t) step_char(&text, TRUE, limit);

+       WriteConsoleW(con_out, wtext, m, NULL, NULL);

+       free(wtext);

+   } else {

+       WriteConsole(con_out, text, len, NULL, NULL);

+   }

 #else

    char c = text[len];

    text[len] = '\0';

環境変数LESSCHARSETに"utf-8"を設定して置けばデフォルトでutf-8なファイルが見れる様になり、環境変数PAGERにlessを設定しておけばperldocで化ける事も無くなります。

最近はマシンスペックが良くなって、毎回変換しても大して劣化しなくて良いですね。

Posted at by mattn

2008/10/15

ニコニコ動画の動画一覧を作るperlスクリプト

基本部はこちらを参照。

ニコニコ動画のサムネイル画像を取得する Perl スクリプト - Yet Another Hackadelic
http://d.hatena.ne.jp/ZIGOROu/20081014/1223991205

思いっきり個人用ぽいスクリプトになってしまいました...。
Plaggerでアレを適当なフォルダにガサーーーと落として、そのフォルダ上で走らせる。ガサーーーのレシピはこんな感じ。


plugins:

  - module: Subscription::Config

    config:

      feed:

         - http://www.nicovideo.jp/mylist/7688389



  - module: Filter::FetchNicoVideo

    config:

      mail: xxxxx@example.com

      password: your-password

      dir: /path/to/download/

      download_comment: 1

      id_as_filename: 0

      # for windows

      #filename_encode: shift-jis

スクリプトはガサーーーの中に含まれるXMLをパースしてゴニョゴニョしている。


#!/usr/bin/perl



use strict;

use warnings;



use Encode;

use Template;

use XML::Simple;

use LWP::UserAgent;



my $ua = LWP::UserAgent->new( keep_alive => 4 );

my $xs = XML::Simple->new;



sub save {

    my ($content, $filename) = @_;

    open my $fh, '>', $filename;

    binmode $fh;

    print $fh $content;

    close $fh;

}



sub build {

    my $file = $_;



    # 動画IDと、ソートに用いるサーバ時刻を取得する

    my $ref = $xs->XMLin($file);

    my $video_id = substr($ref->{view_counter}->{id}, 2);

    my $time = $ref->{thread}->{server_time};



    # 動画ファイル名を得る(s/xml/flv/)

    $file =~ s/\.xml$//;

    $file = decode('cp932', $file) if $^O eq 'MSWin32';

    my $movie_file = "$file.flv";



    # ref: http://d.hatena.ne.jp/ZIGOROu/20081014/1223991205

    my $server_id = $video_id % 2 + 1;

    my $thumb_url = "http://tn-skr$server_id.smilevideo.jp/smile?i=$video_id";

    my $thumb_file = "sm$video_id.jpg";

    my $video_url = "http://www.nicovideo.jp/watch/sm$video_id";



    # サムネイルをダウンロード

    unless (-e $thumb_file) {

        my $res = $ua->get($thumb_url);

        &save($res->content, $thumb_file);

    }



    # " - "でファイル名を分割して先頭を題名に、

    my @info = split(/ - /, $file);

    return {

        title   => $info[0] || $file,

        speaker => $info[1] || $file,

        thumb   => $thumb_file,

        file    => $movie_file,

        time    => $time,

        url     => $video_url,

    };

}



# XMLファイル一覧から動画情報を組み立て、サーバ時刻でソートする

my @movies = sort {$a->{time} <=> $b->{time}}

    map(build($_), glob('*.xml'));



# Templateを使用してHTML出力

binmode STDOUT, ':encoding(utf-8)';

my $tt = Template->new({ UNICODE => 1, ENCODING => 'utf-8' });

$tt->process(\*DATA, {movies => \@movies});



__DATA__

<html>

<head>

<title>第1回 Coderepos Con</title>

<style type="text/css">

body { font-family: meiryo; background-color: black; color: white }

a { color: #333399 }

.file { color: orange; }

.movie { font-size: 20px; font-weight: bold; padding: 0.5em; }

.movie img { margin-right: 0.5em; border: 1px solid blue; }

</style>

</head>

<body>

<h1>第1回 Coderepos Con</h1>

<hr />

<div id="content">

[% FOREACH movie IN movies %]

<div class="movie">

    <img src="[% movie.thumb %]" style="float:left;" />

    Name: <a class="file" href="[% movie.file %]">[% movie.title %]</a><br />

    Speaker: [% movie.speaker %]<br />

    URL: <a href="[% movie.url %]">[% movie.url %]</a><br />

    <br clear="all"/>

</div>

[% END %]

</div>

</body>

</html>

" - "でタイトルとか分けてる部分は、この動画ファイルの名づけ方に依存しているので使う人は好き勝手に変えて下さい。
ちなみに動かすとこんなHTMLが出来上がる。

いやぁ久々ソースにコメント書いたね！(えっ

Posted at by mattn