2009/01/14


追記

POSIX では明確にソケットの最大値とはうたってはいないものの、Linux の実装を見ても最大値と扱う方が良い様です。また Winsock では select(2) の第一引数は無視されるようです。

C言語でソケットを使うプログラミングを行う際、ソケットディスクリプタがシグナル状態かを調べる方法としてselect(2)があります。
使い方は int r;
fd_set rfds;

FD_ZERO(&rfds);
FD_SET(sock, &rfds);

r = select(1, &rfds, NULL, NULL, NULL);
といった感じ。ここでselect(2)の第一引数に渡している値は、ディスクリプタ集合rfdsの内、いくつ検証するかを指す値。つまりrfdsに対してFD_ZERO/FD_CLRしてからFD_SETした回数となります。
ちなみに戻り値は、ディスクリプタ集合の内どれだけシグナル状態かの数が返ります。つまり r = select(num_fds, &rfds, &wfds, &efds, NULL);
の場合、rfds/wfds/efdsの内、シグナル状態であるディスクリプタの総数が返ります。

昔のC言語で書かれたソースを見ると、よく int r;
fd_set rfds;

FD_ZERO(&rfds);
FD_SET(sock, &rfds);

r = select(FD_SETSIZE, &rfds, NULL, NULL, NULL);
FD_SETSIZEを使って書かれた記述を見ます。これはrfdsが構造体であり、そのメンバに持つディスクリプタ格納配列fd_arrayFD_SETSIZEでサイズ定義されている事を利用している為です。
これを無駄と考える人がいた為か、こういう記述も未だに良く見かけます。
int r;
fd_set rfds;

FD_ZERO(&rfds);
FD_SET(sock1, &rfds);
FD_SET(sock2, &rfds);
int check_sock = max(sock1, sock2);

r = select(max(sock1, sock2), &rfds, NULL, NULL, NULL);
確かにFD_SETSIZEの理屈から言えば納得が行く話かも知れませんが、FD_SETSIZEの定義とはfd_arrayの個数でありディスクリプタの値が取り得る値の最大値ではありません。ディスクリプタが順列で生成されるなんて仕様もありません。
つまり、間違いです。

にも関わらず、ディスクリプタの最大値はFD_SETSIZEだと思わせる記述が出回ってしまったのだと思います。
Manpage of SELECT_TUT

nfds: 全ての集合に含まれるファイルディスクリプタのうち、値が最大のものに 1 を足した整数である。すなわち、ファイルディスクリプタを集合に加える作業の途中で、全てのファイルディスクリプタを見て最大値を求め、それに 1 を加えて nfds として select に渡さないといけない、ということだ。

http://www.linux.or.jp/JM/html/LDP_man-pages/man2/select_tut.2.html
おそらく初期のディスクリプタの実装が配列の添え字であった為、こういう記述となり残っていったのだと思う。

例えばWindowsで言えば、socket(7)関数で返るディスクリプタの値はFD_SETSIZEに収まらない値で返ります。またMinGW(Minimalist GNU for Windows)のwinsock.hで定義されているFD_SETSIZEは64と中途半端な値になっています。
それはなぜか...
適当だからです。

通常、1プロセスが扱えるディスクリプタの数が設定されるべきですが、それが明確に定義すべきでない環境では意味のない値になったのだと思います。
しかしながら、多数のディスクリプタ(ファイルもソケットも)を扱うプログラムならば64個使い切ってしまう事はあり得りえるでしょうね。
ではどうすれば良いか。FD_SETSIZEfd_arrayの個数を定義するマクロであり、FD_ZERO/FD_CLR/FD_SETでそれを操作する再に用いられる閾値であり、ループ回数なのです。さらにFD_ZERO/FD_CLR/FD_SETFD_SETSIZEと同じくマクロなのです。 #define FD_CLR(fd,set) do { u_int __i;\
for (__i = 0; __i < ((fd_set *)(set))->fd_count ; __i++) {\
       if (((fd_set *)(set))->fd_array[__i] == (fd)) {\
       while (__i < ((fd_set *)(set))->fd_count-1) {\
               ((fd_set*)(set))->fd_array[__i] = ((fd_set*)(set))->fd_array[__i+1];\
               __i++;\
       }\
       ((fd_set*)(set))->fd_count--;\
       break;\
       }\
}\
} while (0)
しかもFD_SETSIZEの定義は#ifdefにより使い手側が変更出来る様になっています。もし通常よりも多くディスクリプタを扱いたいならばコンパイル時にFD_SETSIZEを定義してやれば良いのです。
この事は、MSDNにも書いてあります。
select Function (Windows) http://msdn.microsoft.com/en-us/library/ms740141.aspx

Four macros are defined in the header file Winsock2.h for manipulating and checking the descriptor sets. The variable FD_SETSIZE determines the maximum number of descriptors in a set. (The default value of FD_SETSIZE is 64, which can be modified by defining FD_SETSIZE to another value before including Winsock2.h.)

ディスクリプタ集合をを操作/チェックするためにヘッダーファイルWinsock2.hに4つのマクロが定義されています。FD_SETSIZEはディスクリプタ集合の最大個数を記述子の最大数を決定します。 (FD_SETSIZEの初期値は64です。これはwinsock2.hをインクルードする前に別の値で変更する事が出来ます。)


但し、このFD_SETSIZEが少ない値のままコンパイルされたライブラリと、多く設定した値のライブラリを併用すると場合によっては誤動作する可能性があるので注意が必要です。まぁこれはUNIXでも同じ話ですね。

だらだら書きましたが、何を言いたいかというと

UNIXで開発していて、将来的にWindowsにも移植するかもしれないソフトウェアならば、ディスクリプタの値がディスクリプタ集合の最大個数である...といった様なコーディングは辞めましょう。

という事です。
Posted at by



2009/01/07


つい勢いでやった。今は反省している。
やる夫で学ぶCooking&AAstory 第0章 http://d.hatena.ne.jp/lionfan/20090105#1231170925
pygtk-aaview
#! /usr/bin/python
# -*- coding: utf-8 -*-
import sys
import os
import gtk
import pango
import urllib
from BeautifulSoup import BeautifulSoup

win = gtk.Window()
win.connect('destroy', gtk.main_quit)
win.set_default_size(800, 600)
win.set_title('やる夫で学ぶCooking&AAstory 第0章')

table = gtk.Table(1, 2, False)
win.add(table)

swin = gtk.ScrolledWindow()
swin.set_policy(gtk.POLICY_AUTOMATIC, gtk.POLICY_AUTOMATIC)

l = gtk.Label('')
l.set_alignment(0.5, 0.5)
fonts = ['Mona 10', 'MS UI Gothic 10']
for fn in fonts:
  try:
    font = pango.FontDescription(fn)
    if font:
      l.modify_font(font)
      break
  except:
    pass
swin.add_with_viewport(l)

table.attach(swin,
  # X direction           Y direction
  0, 1,                   0, 1,
  gtk.EXPAND | gtk.FILL,  gtk.EXPAND | gtk.FILL,
  0,                      0)

b = gtk.Button('次へ')
def button_clicked(widget):
  if len(ascii_arts) == 0:
    gtk.main_quit()
    return
  elif len(ascii_arts) == 1:
    b.set_label('閉じる')
  text = ''.join(ascii_arts.pop(0).findAll(text=True))
  l.set_text(text)

b.connect('clicked', button_clicked)

table.attach(b,
  # X direction           Y direction
  0, 1,                   1, 2,
  gtk.EXPAND | gtk.FILL,  0,
  0,                      0)

html = urllib.urlopen('http://d.hatena.ne.jp/lionfan/20090105#1231170925').read().decode('euc-jp', 'ignore')
soup = BeautifulSoup(html, convertEntities='html')
ascii_arts = soup.findAll('div', { 'class' : 'ascii-art'})
b.emit('clicked')

win.show_all()

try:
  gtk.main()
except KeyboardInterrupt:
  gtk.main_quit()
追記
第1章も作った...というかタイトルとURL変えただけだが...
#! /usr/bin/python
# -*- coding: utf-8 -*-
import sys
import os
import gtk
import pango
import urllib
from BeautifulSoup import BeautifulSoup

win = gtk.Window()
win.connect('destroy', gtk.main_quit)
win.set_default_size(800, 600)
win.set_title('やる夫で学ぶCooking&AAstory 第1章')

table = gtk.Table(1, 2, False)
win.add(table)

swin = gtk.ScrolledWindow()
swin.set_policy(gtk.POLICY_AUTOMATIC, gtk.POLICY_AUTOMATIC)

l = gtk.Label('')
l.set_alignment(0.5, 0.5)
fonts = ['Mona 10', 'MS UI Gothic 10']
for fn in fonts:
  try:
    font = pango.FontDescription(fn)
    if font:
      l.modify_font(font)
      break
  except:
    pass
swin.add_with_viewport(l)

table.attach(swin,
  # X direction           Y direction
  0, 1,                   0, 1,
  gtk.EXPAND | gtk.FILL,  gtk.EXPAND | gtk.FILL,
  0,                      0)

b = gtk.Button('次へ')
def button_clicked(widget):
  if len(ascii_arts) == 0:
    gtk.main_quit()
    return
  elif len(ascii_arts) == 1:
    b.set_label('閉じる')
  text = ''.join(ascii_arts.pop(0).findAll(text=True))
  l.set_text(text)

b.connect('clicked', button_clicked)

table.attach(b,
  # X direction           Y direction
  0, 1,                   1, 2,
  gtk.EXPAND | gtk.FILL,  0,
  0,                      0)

html = urllib.urlopen('http://d.hatena.ne.jp/lionfan/20090106#1231249409').read().decode('euc-jp', 'ignore')
soup = BeautifulSoup(html, convertEntities='html')
ascii_arts = soup.findAll('div', { 'class' : 'ascii-art'})
b.emit('clicked')

win.show_all()

try:
  gtk.main()
except KeyboardInterrupt:
  gtk.main_quit()
Posted at by




im.kayac.comに送信するperlスクリプト。
コードだけ。
#!/usr/bin/perl
use strict;
use warnings;

use Encode;
use LWP::UserAgent;
use HTTP::Request::Common qw(POST);
use Config::Pit;
use Digest::SHA1 qw(sha1_hex);
use JSON;

if ($^O eq 'MSWin32') {
    eval {
        require Win32::API;
        Win32::API->Import('kernel32', 'UINT GetACP()');
        Encode::from_to($ARGV[0], 'cp'.GetACP(), 'utf-8');
    };
}

my $config = pit_get("im.kayac.com", require => {
        "username" => "your username on im.kayac.com",
        "password" => "your password(or secretkey) on im.kayac.com",
        "authtype" => "auth type on im.kayac.com: none/password/secretkey",
    });

my %data = ( message => shift );
die "should be specify message" unless $data{message};
$data{password} = $config->{password} if $config->{authtype} eq "password";
$data{sig} = sha1_hex($data{message} . $config->{password}) if $config->{authtype} eq "secretkey";

my $ua = LWP::UserAgent->new;
my $res = from_json($ua->post(
    "http://im.kayac.com/api/post/$config->{username}", \%data,
    "Content-Type" => "application/x-www-form-urlencoded"
)->decoded_content);

print $res->{result}.$res->{error};
Posted at by