iconv libraries of FreeBSD base system and ports

1. 二つの iconv
base と ports の
二つの iconv について
2015 年 12 月 16 日
（株）創夢 内藤 祐一郎

2. iconv とは
● 汎用の文字コードコンバータ
➔ 例えば EUC-JP の文字列を UTF-8 へ変換するなど
● iconv(1)
➔ iconv -f euc-jp -t utf-8 <filename>
● iconv_open(3) iconv(3) iconv_close(3)
➔ Posix 規格

3. FreeBSD の対応
● FreeBSD 10.0-R から標準搭載
● 10.0 より前は ports の GNU iconv が事実上標準
● GNU iconv は 10.0 以降でも使用可能
● よって、 10 系では二つの iconv が使用可能
● 本資料では FreeBSD の iconv を「 base の iconv 」
● GNU iconv を「 ports の iconv 」とします

4. base の iconv
● CITRUS プロジェクト由来のもの
● BSD ライセンス
● NetBSD などでも使われている
● Posix 準拠
● libc に含まれる
➔ リンク時に -liconv が不要
➔ 逆を言うと外せない

5. ports の iconv
● GNU プロジェクト作成
● ライセンスは GPL
● Posix に準拠
● 独自拡張
➔ wchar_t 変換
➢ 後述
➔ transliteration
➢ いろいろな文字を英語文字だけで表すための変換
➢ 例えばギリシャ文字 θ を th にするなど

6. wchar_t 変換
● wchar_t はもともと C 言語の typedef 宣言
➔ 処理系により 2 バイトまたは 4 バイトで一文字を表す
➔ FreeBSD では int と同じで 4 バイトになる
● wchar_t 変換では文字列を wchar_t の配列にする
● そのため FreeBSD では必ず 4 バイト区切り
● バイトオーダは CPU 依存
● wchar_t が 4 バイトの場合 UTF-32 のコードを使用する

7. 二つあると何が問題か？
● C 言語のシンボル名 (iconv_open など ) が重なるため両方
が存在して、かつ使い分けたい場合には小細工が必要
➔ ports の iconv.h を include する時にシンボル名を変え
てコンパイルする
➔ この小細工にバグがあった（詳細は後述）
● base の iconv では機能が足りないため、 ports の iconv を
使わなくてはならないことがある
➔ 特に wchar_t 変換を使用するアプリケーション
➔ ports の Makefile に USES+=iconv:wchar_t を入れる

8. シンボル名の変換
● 10.0 以降でかつ ports の iconv がインストールされている
と -DLIBICONV_PLUG をコンパイラに渡すようにする
➔ ports/Mk/Uses/iconv.mk
● LIBICONV_PLUG があると /usr/local/include/iconv.h でシ
ンボル名を libiconv に変更する
➔ iconv_open → libiconv_open
➔ iconv → libconv
➔ iconv_close → libiconv_close
➔ これらは ports の iconv で定義されている

9. シンボル名の変換
● 10.0 当時 iconvctrl のシンボルを未定義にしてしまうバグがあり、
コンパイル不能になる ports があった。
➔ https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=186563
➔ シンボル名の変換は GNU iconv の配布物に含まれている機能
● ICONV_PLUG を使わずに ports の iconv を強制するために
iconv:wchar_t を使用した。
➔ 動作と意味とが異なり表現が紛らわしい
➔ iconv:ports または iconv:gnu を別途作成すれば良かったと思う
● iconvctl を未定義にする問題は現時点で解決済み。

10. wchar_t 変換を使うアプリ
● そもそも wchar_t 変換を使うアプリはあるのか？
➔ ある
➔ ports/graphics/rawtherapee
➔ デジカメの RAW 画像現像（ jpg 変換）ソフト
● http://lists.freebsd.org/pipermail/freebsd-ports/2014-February/0
➔ 10.0 で起動しなくなった

11. どこで wchar_t 変換を使うのか？
● rawtherapee は gtkmm を使うソフトウェア
● iconv を呼び出すまでの流れはだいたい次のとおり
➔ rawtherapee→gtkmm→pangomm→glibmm→glib→icon
v
● wchar_t を指定しているのは glibmm
● けれども、 iconv を直接呼び出すのは glib のため glib で
USES=iconv:wchar_t を付けることになった

12. なぜ wchar_t を使うのか？
● glibmm の内部では文字コードを wchar_t のバイト数に合
わせて UTF-32 または UTF-16 で統一しようとする
● glibmm-2.42.0/glib/glibmm/ustring.cc の中で wchar_t が４
バイトかつ __STDC_ISO_10646__ が定義されている場合
に処理系が UTF-32 を利用できると判断している
● そうでない場合に wchar_t へのコンバートを行う
● FreeBSD では __STDC_ISO_10646__ ではなく
__STDC_UTF_32__ を定義している
➔ https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=175930

13. パッチワーク
● glibmm の __STDC_ISO_10646__ を __STDC_UTF_32__
に書き換えてコンパイル＆インストール
● glib の USES=iconv:wchar_t を USE=iconv に書き換えてコ
ンパイル＆インストール
➔ rawtherapee は無事起動した
➔ firefox 、 libreoffice なども動作している
➔ mozc-server も USES=iconv で動作した

14. パッチ
● glibmm
➔ https://github.com/yuichiro-naito/iconv_research/blob/master
● glib20
➔ https://github.com/yuichiro-naito/iconv_research/blob/master
● mozc_server
➔ https://github.com/yuichiro-naito/iconv_research/blob/master

15. 希望
● glibmm にパッチを当てて ports の iconv をなるべく不要に
したい
● ports の iconv を使用する時には USES=iconv:ports にした
い
➔ iconv:wchar_t は wchar_t 変換が必要な場合を意味する
ようにしたい

16. 予想
● wchar_t 変換を使用するアプリはあまりない、はず？
● ports の Makefile を grep すると
➔ iconv:wchar_t のある ports の数は 20
➔ iconv:translit のある ports の数は 12
● glib を介して iconv を使用するものは上記に表れない
➔ glib20 を使用する ports の数は 556
➔ これらが wchar_t を使っていなければセーフ
➔ ちなみに glib20 かつ iconv だと 49 個

17. 詳細リスト
● iconv:wchar_t のある ports
➔ https://github.com/yuichiro-naito/iconv_research/blob/master/wch
● iconv:tranlit のある ports
➔ https://github.com/yuichiro-naito/iconv_research/blob/master/tran
● glib20 を使用する ports
➔ https://github.com/yuichiro-naito/iconv_research/blob/master/glib2
● glib20&iconv を使用する ports
➔ https://github.com/yuichiro-naito/iconv_research/blob/master/glib_

18. お願い
一人で調べるのは大変なので
使っている ports が含まれていたら
パッチを当てて
動作するか試してもらえませんか？