Big Sky

2014/09/18

Windows でも PDCurses で UTF-8 を表示出来るようにした。

PDCurses はその名の通り Public Domain な curses 実装な訳ですが、Windows の実装こそありますが如何ともし難い問題がありました。

PDCurses には、ワイド文字列関数とバイト列で貰う実装があります。UNIX 系アプリケーションの多くは内部文字列がほぼ UTF-8 となり、C言語で受け渡される文字列は既成事実として UTF-8 になってしまいました。

しかしながら日本の Windows ではバイト列と言えば Shift_JIS な訳で、そのまま移植してしまうと文字化けが発生します。各アプリケーション側がワイド文字列でコードを書いてくれれば良いのですが、そんな事を気にする人はまずいません。ましてや各アプリケーションが UTF-8 と MBCS (Multi Byte Character Set) の変換を行うのは酷な話です。出来れば内部文字列は UTF-8 のままで Windows でも正しく表示されて欲しいのです。

mattn/pdcurses - GitHub
https://github.com/mattn/pdcurses

という訳で pdcurses に手を入れてみました。もし pdcurses.dll をリンクしていて表示が文字化けしているアプリケーションがあれば、dll を入れ替えるだけで文字化けが解消するかと思います。

今日はこれを使って、コマンドラインベースのプレゼンテーションツールである mdp を Windows で動かしてみました。

visit1985/mdp · GitHub

A command-line based markdown presentation tool.
https://github.com/visit1985/mdp

mdp 自身は大した事をやってないので、ncurses の代わりに pdcurses をリンクする様な修正を入れただけです。


diff --git a/Makefile b/Makefile

index 63a1feb..54f8327 100644

--- a/Makefile

+++ b/Makefile

@@ -20,7 +20,7 @@

 

 CFLAGS   = -O3 -Wall

 LDFLAGS  = -s

-LDLIBS   = -lncurses

+LDLIBS   = -lpdcurses

 OBJECTS  = cstring.o cstack.o markdown.o parser.o viewer.o mdp.o

 DESTDIR ?= /usr/bin

 

diff --git a/include/viewer.h b/include/viewer.h

index 68c7a13..f6e70fb 100644

--- a/include/viewer.h

+++ b/include/viewer.h

@@ -32,7 +32,7 @@

  *

  */

 

-#include <ncurses.h>

+#include <curses.h>

 

 #include "parser.h"

 #include "cstack.h"

diff --git a/viewer.c b/viewer.c

index ba76f2f..ed83196 100644

--- a/viewer.c

+++ b/viewer.c

@@ -22,7 +22,6 @@

  */

 

 #include <locale.h> // setlocale

-#include <ncurses.h>

 #include <stdlib.h>

 #include <string.h> // strchr

 #include <unistd.h>

sample.md も日本語にして正しく動作する事が確認出来ました。

Posted at by mattn

2014/09/16

html をコマンドラインからパースするなら pup が便利

2014年でも html を解析してゴニョゴニョするなんて要件はまだまだある訳で、そんな時に便利なのが pup というコマンドです。

EricChiang/pup - GitHub

README.md pup pup is a command line tool for processing HTML. It reads from stdin, prints to stdout,...
https://github.com/EricChiang/pup

通常、こういったツールは perl や ruby、python 等で提供されランタイムがインストールされていない環境で動かすのはちょっとした手間が発生していました。しかし pup ならば golang で出来ているのでバイナリ1つあれば動かせます。

使い方は、例えばこのサイトのパーマリンクのHTMLを得たいならば


curl -s http://mattn.kaoriya.net/ | pup a.permalink

とするだけ。CSS セレクタで指定します。またテキストを得たいならば


curl -s http://mattn.kaoriya.net/ | pup a.permalink text{}

といった具合です。一応バイナリリリースもされていますが現状 Windows で色付き表示(-c フラグ)でエスケープシーケンスが表示されてしまいます。

pull-request を送ってあるので、うまく行けばマージして貰えると思います。

追記: マージされました

Posted at by mattn

2014/09/04

MinGW コンパイラで argv をワイルドカード展開させない方法

コマンドラインから「あ*」等とワイルドカードを使用してコマンドを起動した場合、UNIX とは異なり Windows ではプロセス自身が引数を展開します(内部的にではありますが)。

main 関数の argc/argv は MSVC コンパイラであれば setargv.obj というオブジェクトファイルをリンクする事で展開される様になりますが、MinGW ではデフォルトでワイルドカード展開が実行されてしまいます。しかしながら、このワイルドカード展開は各コンパイラベンダーの実装次第という所があり、時に異なる挙動となる場合があります。

そこでワイルドカードは自前でプログラムで展開するのが一番良い訳ですが、MinGW の場合は既述の通り、デフォルトが展開動作となっています。しかし以下のたった1行のおまじないを入れる事で、引数展開が無効となります。


#include <stdio.h>



#define WIN32_LEAN_AND_MEAN  1

#include <windows.h>



int _CRT_glob = 0; // おまじない



int

main(int argc, char **argv) {

  int i;

  printf("command line: %s\n", GetCommandLine());

  for (i = 0; i < argc; i++)

    printf( "argv[%d]: %s\n", i, argv[i]);

  return 0;

}

おまじないの行をコメントアウトした場合


C:\dev>a あ*

command line: a  あ*

argv[0]: a

argv[1]: あ.txt

おまじないを実行した場合


C:\dev>a あ*

command line: a  あ*

argv[0]: a

argv[1]: あ*

アドホックすぎてかなり嫌ですね。どのコンパイラでも同じ動作をさせたいのならば、GetCommandLineW() と CommandLineToArgvW() を使うべきだと思います。

Posted at by mattn