CRubyGCの並列世界

CRubyGCの並列世界 Parallel world of CRubys GC nari/中村成洋ネットワーク応用通信研究所CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

提供 1/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

本題へ

「GCって何？」って人

いませんね。

現在のCRubyのゴミ集め CRubys GC

CRubyのGC（現在） CRubys GC(now) ✓ 1コアだけでゴミ集め ✓ 大量のゴミがあったとき1人で集めるのは大変 7/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

どうすればよいか？

並列化

並列にゴミ集めしようぜ！ http://www.flickr.com/photos/knallaerbse/2863161933/

Parallel world of CRubys GC nari

自己紹介Self introduction

etc ✓ twitter - @nari3 ✓ blog - I am Cruby ✓ etc => http://www.narihiro.info/ 14/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

近年のGCブームRecently gc movement

近年のGCブーム Recently gc movement ✓ 魔法少女まどか☆マギカ（アニメ） ✓ 少女が成長してGCになる話 ✓ GC少女まどか☆マギカ 16/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

このブームに乗り遅れないように(平積みされてた)Dont miss it

もう一冊！！(600円)

CRubyのGC CRubys GC

CRubyのGC ✓ マーク＆スイープ Mark&Sweep ✓ ルートを辿って生きているオブジェクトに印付け（マーク） Mark all live objects ✓ マークがないオブジェクト（ゴミ）を掃除（スイープ） Sweep all dead objects 21/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

ルートとは 22/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

こんなプログラム 23/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

注意:あなたがこのプレゼンでみた最後のRubyコード

Mark phase 25/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

マーク完了後のRubyヒープ Rubys heap after marking 26/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

未マークオブジェクトをSweep Sweep phase 27/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

特徴Features

特徴 Features ✓ Stop the worldなアルゴリズム STW algorithm ✓ シングルスレッド実行 Single thread execute 29/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

特徴 Features ✓ Stop the worldなアルゴリズム STW algorithm ✓ シングルスレッド実行 Single thread execute 30/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

最近はマルチコアが当たり前の世界Recently, PC has multi-core processer

1人でやるのはもう辛いIm alone, So hard. http://www.flickr.com/photos/hortont/2698261070/

他のコアが遊んでしまう問題 ✓ GVLがあるのでCRubyは1コアでのみ動作。 ✓ かといってGCもそうする必要はない。 ✓ コアが余っているなら使おうじゃないか。 33/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

どう解決するか？ How fix?

並列マーキングParallel marking

並列マーキング ✓ マークを並列に行う ✓ ネイティブスレッドを利用 36/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

並列マーキング ✓ 4コアマシンくらいだと嬉しいだろう ✓ Stop the worldは変わらない ✓ スループット向上を狙った改善 37/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

並列マーキングのフロー 38/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

スイープは並列にしない？ ✓ マークに比べてスイープはそれほど遅くない ✓ 笹田さんの調査 ✓ マークを改善すればGC全体の速度が向上するはず 39/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

どのように実装するか？

検討すべき2つのこと ✓ 仕事の分配 ✓ Lock-free 41/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

仕事の分配

シンプルな並列マーキングの実装を検討すると…

1スレッドでルートの1つの枝をマークする

どういうことか？

問題なさそうに見える

が、実は仕事量の問題がある

パレートの法則

パレートの法則全体の数値の大部分は、全体を構成するうちの一部の要素が生み出しているという説。 [cited from `パレートの法則 - Wikipedia] 51/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

枝の大きさがわからない 53/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

A,Bさんは早く仕事が終わってしまうかもしれない 54/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

そうするとサボる 55/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

「人間はサボってもよいが、機械がサボるのはまずい」

どうする？

http://www.flickr.com/photos/ryanr/157458385/

先ほどの例に適用

A,Bさんは早く仕事が終わってしまう 60/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

これをTask Stealing と呼ぶ

検討すべき2つのこと ✓ 仕事の分配 ✓ Lock-free 63/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

Lock-free

Lock-freeの定義 ✓ ブロッキングしない ✓ 進行保証がある 65/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

なぜLock-freeが大事なのか？

アムダールの法則

アムダールの法則システムの一部を改良したときに全体として期待できる性能向上の程度を知るための法則 [cited from `アムダールの法則 - Wikipedia] 68/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

並列化への適用（式）性能向上 P = 1 / (F + (1 - F) / N) F: 並列化できない部分の割合（逐次処理割合）, N:コア数 69/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

逐次処理割合が10%の場合、どれだけコアを積んでも10倍にしかならない。 [cited from `アムダールの法則 - Wikipedia] 71/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

「10%くらいならいいだろう」が全然ダメ直感よりも悪い。

そのため ✓ 並列化ではなるべく逐次処理を減らすのが重要 ✓ Lock-freeなアルゴリズムでいこう！ 73/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

ここからは実装の話

TaskStealing

TaskStealing ✓ 他スレッドの仕事を盗む ✓ Aroras Task Stealing Dequeを利用する 76/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

The deque ✓ double-ended queue とは違う ✓ bottom と top を持つデータ構造 77/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

The deque age は 1 word 78/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

dequeは3つの操作しかない Only three operation

pop_bottom deq末尾の要素をpop 80/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

push_bottom deq末尾に要素をpush 81/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

pop_top deq先頭の要素をpop 82/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

Workerごとにdequeを持つ Each worker has the deque 83/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

Worker は pop_bottom() push_bottom() だけ使う 84/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

pop_topはstealに利用 pop_top() as steal 85/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

競合問題Contention problem

様々な競合問題がありそう ✓ 複数のスレッドがpop_top()を呼ぶ ✓ pop_top()とpop_bottom()が同時に呼び出される 87/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

2個以上では競合なし同時に呼び出されても問題ない。 88/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

1個では競合する同時に呼び出されると競合。 89/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

補足（裏を返せば） ✓ deqの要素が2個以上の場合、 pop_bottom()は競合しない。 ✓ 一方、pop_top()はdeqの要素が2 個以上の場合でも競合する。 ✓ 複数スレッドから呼ばれるから。 90/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

どのように解決しているか？

pop_top/bottomのコードを読めばわかる

pop_top()の擬似コード

pop_bottom()の擬似コード

deqの要素が1個の場合の pop_bottom ✓ bottom,age.topがリセット ✓ age.tag+=1される ✓ age.tagはリセットの世代 105/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

どのように競合が防げるか？

複数スレッドのpop_top()同時呼び出し

pop_top/bottom同時呼び出し

pop_top/bottom同時呼び出し ✓ age.top,age.tagのいずれかが書き換わる ✓ どちらもCASによって書き換えを検知可能 ✓ 逐次化される 110/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

pop_topの途中でサスペンド

ageが1ワードなのが肝 ✓ top,tagの書き込み・読み出しが atomic ✓ ※半端な状態にならない ✓ pop_top/bottom()によってtop/tag が書き換わる ✓ CAS命令によって逐次化 116/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

The dequeまとめ ✓ TaskStealing用のシンプルなデータ構造 ✓ 逐次化のためageが1ワード ✓ CAS命令しか使わないためlock- free ✓ もっと詳しく知りたい人はこちら 117/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

並列マーキングへの適用

どのようにマーキングに適用するか？

Aをマーク後、Aをpush_bottom 121/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

Aをpop_bottom、B・Cマーク、 B・Cをpush_bottom 122/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

Cをpop_bottom、Dマーク、Dを push_bottom 123/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

Dをpop_bottom、Bを pop_bottom 124/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

簡単まとめ ✓ deqにはマーク済みのオブジェクトが入る ✓ pop_bottomしたオブジェクトの子をマーク、さらにpush_bottom ✓ すでにマーク済みの子はdeqに入らない 125/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

B・Cを持つworker 1と、空の worker2 127/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

Worker2がBをpop_top 128/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

あとは同じ...

並列マークの全体の処理の流れ

さまざまなルート 131/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

それぞれをタスクとする 132/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

workerはタスクを取得 ※ロックが必要 133/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

dequeを使ってマークしていく 134/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

1つのタスクが終われば次を取得 135/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

タスクがなくなればsteal 136/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

小まとめ ✓ ルートを大きな粒度で分割（タスク） ✓ それぞれのスレッドはタスクをこなす ✓ タスクが無くなれば盗む 137/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

並列マーキングできた！めでたし、めでたし。

では、終わらなかった。

問題

通常のGCより遅くなってしまった

原因 ✓ 原因: pop_bottom()などの処理のコスト 142/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

pop_bottomなどの処理コスト ✓ pop/push_bottom(),pop_top()のコストが意外に高い ✓ pop_bottom(),pop_top()は特にCAS命令を使う ✓ 並列化しても補えないくらいのコスト 143/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

どうする？

deqの要素 = 固定長スタックローカルマークスタック(LMS)と呼ぶ 145/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

マークのやり方は変わらない 146/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

LMSがいっぱいになるとdeqに push_bottom 147/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

stealもLMS単位になる

メリット ✓ pop/push_bottom(),pop_top()をなるべく呼ばなくてすむ ✓ 一つ一つのマーク処理が早い 149/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

デメリット ✓ マークの並列稼働率が落ちる ✓ LMS単位で分配するため 150/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

感謝 ✓ 中村実(@nminoru_jp)さんに教えてもらった ✓ 感謝感謝！！ 151/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

その他工夫 ✓ tagのオーバフロー対策 ✓ deqが丸い配列（ring buffer） ✓ Arrayのマークの並列性を高める ✓ 時間もないので省略 152/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

小まとめ ✓ 純粋なアルゴリズム適用だと遅くなった ✓ deqの要素を粗くする（固定長の配列にする）ことで改善 ✓ 要素が粗いため並列性は若干落ちる 153/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

性能評価

実行環境 ✓ CPU: Intel(R) Core(TM) i7-2620M CPU @ 2.70GHz ✓ 2 core, 4 thread ✓ Memory: 8GB ✓ OS: Linux 155/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

ベンチマークプログラム ✓ bm_gc_depth_objects.rb ✓ 幅広・深めのオブジェクト構造を生成 ✓ make benchmark ✓ CRuby添付のベンチマークプログラム群 156/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

考察 ✓ bm_gc_depth_objects.rb ✓ 30%程総GC実行時間が改善 ✓ もっと多いコアだともっと改善されそう ✓ make benchmarkは遅くなる ✓ dequeの準備があるから起動が若干遅い 159/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

どういうアプリだと嬉しいか？ ✓ マークするオブジェクトが大量にあり続けるもの ✓ サーバ側アプリケーション(?) ✓ 大体forkしてるからなぁ… ✓ MVMなどが進化してくるとありがたみが増すかもしれない 160/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

問題点

メモリ使用量が増えた ✓ dequeの確保等々 ✓ 一つのdequeに大体1MBくらい使う ✓ => コアを沢山積んでいるサーバマシンなら別に問題ないか？ 162/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

SEGV ✓ ちょっとバグを取りきれてない ✓ 4コアマシンだとSEGVするんだが… ✓ 取らないと… 163/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

テスト環境がないです問題 ✓ 沢山のコアを積んだマシンないです ✓ 8コア以上欲しいなぁ ✓ 誰か持ってたらアカウント下さい :) 164/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

Windowsではまだ動かない ✓ workerはpthreadで動かしている ✓ gccの組み込み関数を使っている ✓ Windows対応可能 165/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

まとめ

まとめ ✓ CRuby用の並列GCを作った ✓ GCブームが来ている ✓ GC少女まどか☆マギカ ✓ 手持ちのマシンだとそれなりに性能改善するようである ✓ 問題点はまだある 167/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

余談 ✓ 毎年RubyKaigiにあわせてGCを作ってきた ✓ 今年でRubyKaigiが終わるので、 CRubyのGCハックも一旦終わり ✓ 先生の次回作に期待 168/169CRubyGCの並列世界 - Parallel world of CRubys GC Powered by Rabbit 0.9.3

ご静聴ありがとうございました。

http://d.hatena.ne.jp	663
http://coderwall.com	14
http://www.redditmedia.com	5
http://twitter.com	1
http://webcache.googleusercontent.com	1

CRubyGCの並列世界

by authorNari on Jul 16, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

5 Embeds 684

Statistics

CRubyGCの並列世界 — Presentation Transcript