Modbuilders 独自ビルド環境について

2012/2/18 mozilla独⾃ビルダー勉強会

独⾃ビルド
環境について
by ABE Hiroki aka hATrayﬂood


⾃⼰紹介
・名前：アベヒロキ (@hATrayﬂood)
・職業：⾃宅サーバ管理者
・URL：rayﬂood.org/diary-temp/
・住所：⻑野市地元：東部町



まず by ABE Hiroki aka hATrayﬂood


今回の開催
までの流れ


jbを囲む会で
@htguard
と初対⾯


その勢いで
twitterに


@htguardと
@m̲ayakawa
が釣れました


@makoto̲katoも
釣られてくれるらしい



さすがにotachanと
@tete009̲は
来れないようで


というわけで
(勝⼿に)
開催決定


⽇程調整して
会場確保して
atnd告知


えーと by ABE Hiroki aka hATrayﬂood


スレ住⼈
いる？ by ABE Hiroki aka hATrayﬂood


本題 by ABE Hiroki aka hATrayﬂood


rayﬂoodビルド


http://rayﬂood.org/mozilla/



⽅針 by ABE Hiroki aka hATrayﬂood


ビルド実験
が主な目的


公式ビルド
では使わない
コンパイラや


サポートしてない
コンパイラで
ビルドできるか


主にVisual Studio
Expressでビルドを
検証してた


なんでVS
Express？


フリーソフトを
ビルドするのに
⾼価なVS使うのは


なんか⽭盾
してないか？


という
(どうでもいい)
疑問から出発


なので by ABE Hiroki aka hATrayﬂood


以下の点には
気を配りません


・性能
・安定性 by ABE Hiroki aka hATrayﬂood


特徴 by ABE Hiroki aka hATrayﬂood


Windows、Mac
Linuxのバイナリを
ビルドしてます


それぞれのOSで
複数のコンパイラで


ほぼ全部の
mozilla製品を


⾔語リソース
⽇本語/英語
中国語(繁体字)


Windows版
のみの特徴


gecko-1.9.2
からfreetype2
でフォント描画


gecko-2.0以降も
(⼀応)対応予定
サンプルビルド


詳細 by ABE Hiroki aka hATrayﬂood


実際にビルドできたコンパイラ
製品別VCバージョン⼀覧



列挙すると


vc6, vc71, vc8
vc9, vc10


ここまで製品版VC
　
ここからフリーVC


vc8e, vc9e, vc10e
sdk60, sdk61
sdk70, sdk71
gcc-3.4, gcc-4.5
ddk, llvm-gcc-4.2


なんかいろいろある



Express版もあるけど
Windows SDK付属の
VCも使える



ATLやMFCがないので
2003 SDKやWDKと
組み合わせる


Windows SDKは
x64版ビルドも可能
(⼀部ヘッダ要修正)


windowsでのgccは
gecko-1.9.1以降
ビルド不可


WDKにもコンパイラ
ついてるけどダメっぽい
(理由はいろいろ)


というわけで


フリーなVCでも
コア開発に
参加できるよ！


PGOは泥沼


時間かかるし
バグも多い


Linux, Mac


基本gccと
llvm-gccも


Ubuntu 10.04 LTS
　
gcc-4.1, gcc-4.3, gcc-4.4
llvm-gcc-4.2
それぞれi386とx86̲64



Ubuntu 11.10
　
gcc-4.4, gcc-4.5, gcc-4.6
llvm-gcc-4.5
それぞれi386とx86̲64



x86̲64環境でi386版を
ビルドしようとすると
i386ライブラリが不⾜



なのでi386とx86̲64
両⽅のネイティブ環境を
⽤意してビルド


llvmはi386の
llvm-gcc-4.2だけ
他はコンパイルエラー


ビルドが通るのは
gecko-1.9.1まで
以降はエラー


gcc-4.5, 4.6は
PGOできるらしい
(未検証)


Mac OS X 10.6
　
gcc-4.0, gcc-4.2
llvm-gcc-4.2


gccはppc, i386, x86̲64
llvm-gccはi386, x86̲64



gccはXcode純正
llvm-gccはmacports



Xcodeのllvm-gccは
コンパイルエラーだった



macportsのでも
ビルドが通るのは
gecko-1.9.1まで
以降はエラー


ppc版をビルドする
場合はOSX 10.6まで
10.7からRosettaが
廃⽌された


x86̲64版のビルドは
OSが32bit起動でも可能
32bit動作のOS上でも
x86̲64を実⾏できる


llvm-gccはmozillaには
役に⽴たなかったか・・・
clangに期待



Intel Cも試してみたいが
ちょっと⾼いなー
しかもWin, Mac, Linux
それぞれあるし


機器 by ABE Hiroki aka hATrayﬂood


・Windows, Linux
Core i7 2600
メモリ12GB ⾃作機


12GBという半端な量は
メモリ4本のうち1本が
memtestでエラーのため



・Mac
C2D T7500 4GB
Macbook 2007 Late



コア数 by ABE Hiroki aka hATrayﬂood


Core i7 2600
　4コア
　+ Hyper Threading
　= 8スレッド


C2D T7500
　2コア、のみ
　= 2スレッド


ビルド
物件 by ABE Hiroki aka hATrayﬂood


ﬁrefox, thunderbird
seamonkey, fennec
xulrunner
lightning/sunbird


がそれぞれvc10, vc9
vc8の32bit/64bitで
ビルドするとなると


6 x 6 = 36
うち、PGOは8


ﬁrefoxとseamonkey
のvc10, vc9が32/64
でPGOは8つ


ビルド物件が多いのに
これだけのCPUコア数で
さばかなれければならない



つまり、いかに
CPUコアを消費
しつくすかがキモ


・選択肢1
makeのオプション-j4で
並列コンパイルを指⽰し
1つずつ順次ビルド


・選択肢2
makeに-j4は使わず
4つ同時にビルド


回答 by ABE Hiroki aka hATrayﬂood


→選択肢2
makeの-j4では最適化
されないプロセスがある



xpidlによる.idlファイルの
コンパイルはターゲットが
複数でも並列実⾏されない



.exeや.dllのリンクは
ターゲットが常に1つなので
並列実⾏されない



PGOするとxul.dllのリンク
に非常に時間がかかる
link.exe⾃体もマルチ
スレッドで動作してない


複数のアプリを並列でビルド
する場合は、時間のかかる
PGO対象アプリが優先
そうなると今度は


メモリが
⾜りない by ABE Hiroki aka hATrayﬂood


PGO1つで3〜4GB消費
これが4つ同時なので
12〜16GBほど必要



link.exeがマルチスレッド
実⾏できないがために
メモリで肩代わり・・・



物理メモリがこれより
少なくてもswapがあれば
実⾏できるが非常に遅い



ただでさえ時間がかかる
リンクがさらに何倍も
時間がかかる


swapを使わず
全て物理メモリ上
で実⾏すべき


Hyper Threading



4コア8スレッドだが
実際はどうかというと


半分は幻


8スレッドのうち4つは
幻にすぎません
物理コアじゃないから


4つ並列ビルドと
8つ並列ビルドでは
8つ並列のほうが
ちょうど2倍遅い


確かに8つ同時なら
CPUを使い切れるけど
その分遅くなるので


単位時間あたりの
処理量で⾒ると
4つ同時と変わらない


並列ビルドは
物理コア数まで


投⼊ by ABE Hiroki aka hATrayﬂood


並列ビルドするとなると
ビルドが終わったら次を
投⼊するわけですが


⼿動は
ありえない


とにかく数が多い
並列、という時点で
⾃動投⼊以外ない


しかも要件として
同⼀ソースツリー
を同時に使えない


PGOを優先しつつ
余ったスレッドで
通常ビルドも実⾏


というやや特殊な
条件があるので
makeでは不⼗分


というわけで
それ⽤に書いた
paralelbuild.py


PGOキューとそれ
以外のキューの2本
PGOワーカーn本と
それ以外のワーカー


ビルドするアプリの
リストという構成


ワーカーがキュー
からビルドする
アプリを取り出す


アプリが他のワーカー
でビルド中かチェック


ビルド中なら後回し
キューにつめ直して
再度取り出す


PGOワーカーは
PGOキューを優先
して取り出す


これでキューが尽きるまで
CPUをフルに使い切れる



でも24時間以内に
全ビルド完了という
目標に届くか不明


今後 by ABE Hiroki aka hATrayﬂood


そろそろ
刷新予定


ただし
ESRのみ by ABE Hiroki aka hATrayﬂood


freetype2版は
可能なら出す
(パッチ的に)


ESRでのビルドも
もう少しかかりそう


第1陣で旧バージョンが3⽉
第2陣でESRが4⽉かもね



vc11の対応は
Windows 8が出てから…



・リンク集
twitter @hATrayflood
http://twitter.com/hATrayflood
mozilla rayflood独⾃ビルド
http://rayflood.org/mozilla/
firefox-4.0.1 freetype2版サンプルビルド
http://rayflood.org/diary-temp/firefox-4.0.1-rayflood-win32-sdk70.7z
バックナンバー freetype2 on fx-3.6 win32
http://www.slideshare.net/hATrayflood/modest02-freetype2-on-fx36-win32
バックナンバー firefox-3.6.4以降のビルドについて
http://www.slideshare.net/hATrayflood/modest04-firefox364
バックナンバー core i7 2600とfirefox 4.0b9でベンチ測ってみたよ
http://www.slideshare.net/hATrayflood/modest08-core-i7-2600firefox-40b9


Modbuilders 独自ビルド環境について

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (12)

Similar to Modbuilders 独自ビルド環境について

Similar to Modbuilders 独自ビルド環境について (20)

More from hATrayflood

More from hATrayflood (12)

Recently uploaded

Recently uploaded (7)

Modbuilders 独自ビルド環境について