GoCon2017 autumn での発表です。 speacker deckからの転載です。 https://speakerdeck.com/niconegoto/how-to-achieve-parallel-compilation-in-go-1-dot-9

1. How to achieve parallel compilation in Go 1.9

2. Koki Ide(@niconegoto)
Flatt, Inc.
sophomore of the University of Tokyo

3. 今日のアジェンダ
・コンパイルってどうやるのかざっくりおさらい
・Go1.9ではいったparallelize compilationの説明
・Goってすばらしい

4. Parallelize Compilation
2017/8/24
Go 1.9 Released🎉

5. Parallelize Compilation
sync.Mapだけじゃないよ！！

6. Parallelize Compilation
"Do not communicate by sharing memory;
instead, share memory by communicating."

7. "Do not communicate by sharing memory;
instead, share memory by communicating."
Parallelize Compilation

8. Parallelize Compilation
デフォで並列コンパイル
GO19CONCURRENTCOMPILATION=0 または -gcflags=-c=1で無効にできる
-gcflags=-c=1はgoroutineも生成されず並行性がない

9. Concurrency Model
cmd/compile/internal/gc
cmd/compile/internal/ssa
cmd/compile/internal/syntax
あたりを読む

10. Parallelize Compilation
おさらい
文字列としてのプログラム
x=1.2=y*60
単語列としてのプログラム
ID( x ) EQ Float(1.2) PLUS ID( y ) TIMES Int(60)
抽象構文木
字句解析
構文解析

11. Parallelize Compilation
おさらい
抽象構文木
抽象構文木+型などの付加情報
仮想命令列
機械語コード
意味解析
中間コード生成・最適化
機械語コード生成
t2 = y * 60.0
x = 1.2 + t2
FR1 <- y
FR1 <- FR1 * 60
FR1 <- FR1 + 1.2
x <- FR1

12. 1.初期化
2. cmd/compile/internal/syntax 字句解析と構文解析
3. cmd/compile/internal/gc ASTへの変換
4.型チェック、エスケープ解析、インライン展開、クロージャー処理、式評価の順序付け（order.go）、最適化（walk.go）
5. cmd/compile/internal/ssa SSA形式への変換
6. SSA形式の最適化
7. SSA形式からアセンブラへの変換
8.アセンブラからマシンコードへの変換
9.マシンコード、DWARFシンボル、型とリフレクションの情報、エクスポートデータなどの出力
Parallelize Compilation
Compileの手順

13. 2. cmd/compile/internal/syntax ASTへの字句解析と構文解析
Parallelize Compilation
Compileの手順
→既にgo1.8で並列化済み

14. 3. cmd/compile/internal/gc ASTへの変換
Parallelize Compilation
Compileの手順
→削除予定

15. 4.式評価の順序付け（order.go）、最適化（walk.go）
Parallelize Compilation
Compileの手順
→concurrency-safeに実行することが難しく、そこまで遅くないのでパス

16. 5. cmd/compile/internal/ssa SSA形式への変換
6. SSA形式の最適化
Parallelize Compilation
Compileの手順
→ボトルネック

17. Parallelize Compilation
Compileの手順
フェーズ4が全ての関数に対して完了してからこれらを同時に実行する。
5. cmd/compile/internal/ssa SSA形式への変換
6. SSA形式の最適化
7. SSA形式からアセンブラへの変換
8.アセンブラからマシンコードへの変換

18. Parallelize Compilation
Compileの手順
9.マシンコード、DWARFシンボル、型とリフレクションの情報、エクスポートデータなどの出力
ここでメソッドラッパーなどの新しい関数が自動生成され、4 8の処理に進む。
最初はこの自動生成の関数に関しては並列コンパイルされていなかったが後(CL41503)に実装された。

19. ・並列コンパイルを安全に行うためのmutexの追加
・現状のコンパイラのグローバル変数を非グローバルに変更する
・5 8の作業を並列化
・複雑な関数を先にコンパイルするようにする
・自動生成された関数も並列コンパイル(パフォーマンス5％向上)
・その他細かい最適化や修正(yyerror を使っている部分をFatalfに変更)
・CとPの値を変化させた際の分析
Parallelize Compilation
やったこと

20. ・並列コンパイルを安全に行うためのmutexの追加
・現状のコンパイラのグローバル変数を非グローバルに変更する
・5 8の作業を並列化
・自動生成された関数も並列コンパイル(パフォーマンス5％向上)
・その他細かい最適化や修正(yyerror を使っている部分をFatalfに変更)
・CとPの値を変化させた際の分析
Parallelize Compilation
やったこと

21. Parallelize Compilation
mutexの追加
gc.funcsymsmu
gc ASTからSSAへの変換時、
パッケージ検索時に使用される

22. Parallelize Compilation
gc.largeStackFramesMu。
SSAコンパイル後に関数のスタッ
クフレームが巨大であることを発
見した際に用いられます。
mutexの追加

23. Parallelize Compilation
obj.Link.hashmu
ctxt.hashは
types.Syms(コンパイラシンボル)から
obj.LSyms(リンカシンボル)への
マッピングを格納していて、かなり頻繁に
アクセスされる。
mutexの追加

24. Parallelize Compilation
gc.signatsetmu
signatsetマップはDWARF生成時
に使われてることは分かったんで
すがちょっと詳しい使用状況わか
らなかったので後でもっと調べて
追記します。
mutexの追加

25. Parallelize Compilation
gc.typepkgmu
バックエンドのコンパイル時や
DWARF生成時にtypesパッケージ
のシンボルの検索はよく行われる。
mutexの追加

26. Parallelize Compilation
types.internedStringsmu
gc ASTからSSAへの変換やSSA操作
において、allocationを減らすために
名前を指定した新しいautotmpsが導
入されていて、types.internedStrings
を保護する必要がある。
mutexの追加

27. ・並列コンパイルを安全に行うためのmutexの追加
・現状のコンパイラのグローバル変数を非グローバルに変更する
・5 8の作業を並列化
・自動生成された関数も並列コンパイル(パフォーマンス5％向上)
・その他細かい最適化や修正(yyerror を使っている部分をFatalfに変更)
・CとPの値を変化させた際の分析
Parallelize Compilation
やったこと

28. Concurrency Model
"Do not communicate by sharing memory;
instead, share memory by communicating."

29. Concurrency Model
このCL後にはgcflagsのp=8,c=8になっている
P=プロセス数
C= 並行処理数
cが増加するとCPUコストも増加するためc=4がスイートスポット

30. Concurrency Model
（1）より多くの関数を同時にコンパイルする
（2）最も遅い関数(長い関数)のコンパイル時間の改善
（3）コンパイラの残りのシリアルな部分を高速化する
（4）大きな自動生成関数(init)を小さなものに自動的に分割する
パフォーマンス改善

31. FlattではGoを書く仲間を募集しています
🔍 flatt.tv

32. Koki Ide(@niconegoto)
Flatt.Inc
sophomore of the University of Tokyo