われわれは、GCをX倍遅くできる

1. われわれは、GCをX 倍遅くできる We can make the GC X times slower than the original nari/中村成洋ネットワーク応用通信研究所われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

2. 自己紹介

5. 自己紹介 ✓ nari/中村成洋 ✓ @nari3, id:authorNari ✓ NaCl勤務 4/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

6. 自己紹介 ✓ CRubyコミッタ ✓ 主にGCについて考える ✓ 「俺がGCだ」（こうですか、わかりません＞＜） 5/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

9. 宣伝タイム

10. 本を書きました

11. 今年はGC生誕50周年

12. 買うなら今

13. もう3刷が買えます

14. 持ってる人ノシ

15. ありがとうございます m(_ _)m

16. 全部読んだ人ノシ

17. 本当にありがとうございます

18. 持ってない人はぜひサイン会で（３日目）！

19. いまから話すこと

20. いまから話すこと ✓ GCのこと ✓ CRubyのこと ✓ CRubyGCのこと 19/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

21. 話さないこと

22. 話さないこと ✓ CGのこと ✓ クールなGCクラスの使い方 ✓ Rubyのこと 21/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

23. 想定外だったこと ✓ まさかの大ホール ✓ マニアックすぎる懸念 22/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

24. でも ✓ @kakutani「ぶちかましてください」 ✓ やりましょう ✓ お父さん張り切っちゃうぞ系 23/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

25. 今日の話題

26. 今日の話題 ✓ CRubyGC ✓ LazySweepGC ✓ 未来的CRubyGC 25/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

28. CRubyGC

29. GC ＝ゴミ集め

30. 「不要になったオブジェクト（ゴミ）処理機」

31. GCの特徴 ✓ 闇に潜んでゴミを断つ ✓ 誰も知らない知られちゃいけない 30/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

32. Ninja？ Guiri R. Reyes:http://www.ﬂickr.com/photos/grrphoto/152833988/

33. ブラックボックスがゆえ不当に扱われる

34. 「よくわかりませんけど GCが悪さしていそうです」

35. そんなことないよ

36. GCはトモダチ

37. 竹内郁雄先生曰く GCを備えた言語での生産性は、GCを備えていない同等の言語に比べて30%は増加します。 [cited from `ガベージコレクションのアルゴリズムと実装、前書き'] 36/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

38. ってことは ✓ 1日 = 8時間 ✓ 10年 = 142400時間 ✓ 42720時間 = 365日 37/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

39. RubyKaigi 120回分ですね

40. GCで浮いた時間で RubyKaigiに出席

41. 今日はそんなGC の話をします

42. RubyGC ＝ RubyのオブジェクトへのGC

43. オブジェクトとは 42/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

44. オブジェクトとは 43/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

45. Rubyヒープブロック 44/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

46. Rubyヒープ 45/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

47. CRubyのGC ✓ マーク＆スイープ ✓ 生きているオブジェクトに印付け（マーク） ✓ マークがないオブジェクト（ゴミ）を掃除（スイープ） 46/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

48. ルートとは 47/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

49. こんなプログラム 48/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

50. マークフェーズ 49/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

51. マーク完了後のRubyヒープ 50/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

52. スイープ 51/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

54. その他の特徴

55. 保守的なGC

56. 保守的なGC ✓ 偽ポインタ（false pointer） ✓ 実際には数値などの非ポインタ ✓ たぶんポインタじゃね？（保守的思想） 55/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

57. 問題 ✓ エアオブジェクトが増える ✓ 死んでいるのに生きていると見なされる 56/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

58. 現実世界でも似たような事例

59. 現実的保守的GC問題 ✓ エア老人問題 ✓ 186歳だけど戸籍ある… ✓ 役人「何も言われないし、きっと生きてるんだろうなぁ」 ✓ 保守的思想＝戸籍の保守的GC 58/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

61. LazySweepGC

62. CRubyGCの問題点とは？

63. Stop the world!!

64. Stop the world ✓ GCによるアプリの停止 ✓ 停止時間が重要となるアプリでは致命的 ✓ ゲーム、ロボット 63/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

65. なぜ止まるか？

66. なぜ止まるか？ ✓ アルゴリズム（マークスイープ）がまずい ✓ 「GC最大停止時間」と「データ量」が比例 ✓ オブジェクトが増えれば増えるほど止まる 65/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

67. CRubyGCはオブジェクトの増加に対して鈍感

68. CRubyGCさん曰く「お前は一度に GCするオブジェクトを覚えているのか？」

69. 解決案

70. LazySweep

71. LazySweep ✓ スイープの遅延 ✓ オブジェクトが必要になってからスイープ ✓ 空いたオブジェクトを割り当て ✓ スイープの負荷分散 70/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

72. 今回の本題

73. 「LazySweepをCRubyGCに実装しました」という話

74. 覚えているでしょうか？

75. rubykaigi2008 （デビュー戦）

76. LazySweep！

77. 実はパッチまで

78. なぜ今頃？

79. 歴史を辿る

80. 2008/3 : nariはパッチを作成した

81. 2008/6 : rubykaigi2008

82. 2008/7/1 : nariがコミッタに

83. 2008/7/2 : nariがうっかりコミットした

84. 「コミットが滑った」

85. 3日後…

86. 2008/7/5 : nariがrevertした

87. revertの理由 ✓ もう少し速くしたかった ✓ VM方面の方からもクレームが ✓ 根本的に実装がタコなんじゃ？ ✓ 私の実力不足 86/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

88. 2009/7/28 : rubykaigi2009

89. rubykaigi2009

90. LazySweepを忘れていた（黒歴史化）

91. 質疑応答で

92. 前田さん「LazySweepは何で外れたの？」

93. ささださん「あれ早く作って欲しい」

94. まつもとさん「あれって外れちゃったんだっけ？」

95. nari （来年のRubyKaigiまでには作らねば…）

96. RDD (RubyKaigi Driven Development)

97. なんやかんや作り直し ✓ 3月くらいに着手 ✓ 執筆が一段落 ✓ 5月くらいにコミット ✓ ruby1.9.2には間に合わなかった 96/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

98. trunkへのコミット Fri May 28 19:37:47 2010 Narihiro Nakamura <authorNari@gmail.com> * gc.c: use simple lazy sweep algorithm for response performance gain. See [ruby-dev:41067]. * object.c: FL_MARK of some objects by lazy sweep is copied when RVALUE is cloned. These objects are not marked in the mark phase. So delete FL_MARK. * class.c: ditto. 97/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

99. 新LazySweepの説明

100. LazySweepの流れ

101. (1):マーク後 100/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

102. (2):オブジェクト欲しい 101/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

103. (3):スイープ（ブロック単位） 102/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

104. (4):足りなくなったら 103/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

105. (4):スイープ（ブロック単位） 104/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

106. コレの繰り返し

107. デモアプリ「Kaboom!!」の紹介

108. 「Kaboom」　吹き飛ばしゲー

109. リアルGCを強く意識

110. デモ $ruby kaboom.rb

111. GC負荷モード

112. Rubyヒープビジュアライザもあるよ

113. デモ $ ruby demo.rb 1

114. 灰：使用中　白：未使用

115. 新LazySweepの場合

116. デモ $ ruby demo.rb 1 （違うwindowで）

117. 灰：使用中白：未使用黒：マーク付き

118. あれ、バグか…？ ✓ 黒が残るのはファイナライズ待ちオブジェクト ✓ Sweepが完全終わってからファイナライズ ✓ 一瞬なので残っているように見える 117/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

119. 実装上の工夫

120. 実装上の工夫 ✓ 最大停止時間の緩和 ✓ Rubyヒープ構造改革 119/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

122. 最大停止時間の緩和

123. Rubyヒープを拡張するタイミング

124. 前のCRubyGC 123/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

127. LazySweepの場合

128. LazySweep 127/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

129. LazySweep 128/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

130. メリット＆デメリット ✓ メリット ✓ 大量に割り当て要求があったときの最大停止時間の緩和 ✓ マーク後すぐに大量のオブジェクト要求があるとマークスイープと一緒 129/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

131. メリット＆デメリット ✓ デメリット ✓ カウント分、マークに少しだけ負荷 ✓ マーク済みオブジェクトはカウントしないのでまだマシ ✓ スイープ時にカウント処理しなくていい ✓ malloc_limitの計算に使用（いらないかも？） 130/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

133. Rubyヒープ構造改革

134. Rubyヒープ構造 133/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

135. Rubyヒープブロック追加時 134/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

136. 実はソートされる 135/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

137. 何が困るか？

138. 問題 ✓ 追加されるRubyヒープブロックがどこに入るか分からない ✓ どこまでスイープしたか管理するのが大変 ✓ indexを持つ => 変わる…。 ✓ アドレスを持つ => 変わる…。 137/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

139. 解決策

140. 分離 139/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

141. スイープ対象がスッキリ 140/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

142. 追加も平気 141/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

143. メリット ✓ アドレスが変わらないので LazySweepしやすい ✓ 前のパッチはフラグとか使って大変だった ✓ 今後の改善にも生かせそう 142/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

144. その他、細かい仕様 ✓ GC.startは今までと同じ ✓ M&Sでやる ✓ LazySweepとは別に用意 143/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

145. 検討したけどやらなかったこと

146. non-freelist実装

147. freelistとは 146/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

148. こうする 147/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

149. 狙い ✓ freelistってCoWに悪い ✓ わざわざリンクするの遅くない？ 148/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

150. 検討結果：ダメだった

151. 問題

152. 空のヒープブロックを解放できない

153. freelistの場合 152/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

154. non-freelistの場合 153/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

155. 以下、余談

156. ビットマップマーキングの場合 ✓ 空きヒープブロックの検知が速いのでnon-freelistできるかもしれない 155/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

157. C拡張ライブラリ作成者、コアデベロッパの皆様へ

158. マークを消さないようにしてください

159. LazySweepの怖さ ✓ マークがオブジェクトに残っている ✓ ※コレを消してしまうとスイープ時に解放 158/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

160. 実際にはまったこと

161. オブジェクトのコピー 160/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

162. マークの時に問題が… 161/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

163. スイープ時に… 162/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

164. 時間差SEGV ✓ スイープ時にオブジェクトC, Dが解放されてしまう ✓ 時間差でSEGVェ... 163/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

165. マークには気を付けて…

166. 性能評価

167. ベンチマーク ✓ bm_gc_flagmentation.rb ✓ 疑似的なフラグメンテーション ✓ 狙い：長時間動作のプログラムでどれくらいの改善？ 166/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

168. GC総停止時間 167/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

169. GC最大停止時間 168/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

170. デモ $ruby demo.rb 2 二画面で

172. よさげ

173. LazySweepはいつから使える？ ✓ trunkにはコミット済み ✓ ruby 1.9.3(??) 172/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

175. 未来的CRubyGC

176. やることはいっぱいある！

177. 有名な問題

178. 保守的GC

179. 保守的GCを実装した言語処理系はレア ✓ Ruby ✓ Gauche ✓ …？ 178/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

180. 言語処理系を作るときの二択 ✓ 保守的GC(Dead)か… ✓ 正確なGC(or Alive)か… ✓ 負の遺産？ 179/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

181. よく言われる問題 ✓ 偽ポインタ問題（別名：非実在オブジェクト問題） ✓ コピーGC使えないよ問題 180/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

182. でも

183. 本当に問題か？

184. 偽ポインタは本当に多い？ ✓ Rubyのオブジェクトは5ワード固定 ✓ チェックで大分弾ける ✓ 実アプリで問題になった例を聞かない ✓ どんくらいあるんだろう？ 183/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

185. コピーGCって本当にいいことばかり？ ✓ CoWに悪い ✓ ※JRubyとかRubiniusとかどうよ？ ✓ キャッシュに悪いかも ✓ GC後はキャッシュミス連発？ 184/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

186. それよりもメリット

187. メリット ✓ コアのコード書くの楽 ✓ C拡張ライブラリ書くのが楽 ✓ コアの開発をドライブするために生産性は大事 186/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

188. もっとも大きな問題

189. 停止型のGCアルゴリズム

190. 近未来 ✓ 大容量化 ✓ 大量のオブジェクト生成 ✓ Ruby≒Rails（サーバサイド） 189/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

191. 非停止型のGCアルゴリズムへの移行

192. 問題解決の最大ハードル

193. ライトバリア

194. ライトバリア ✓ ライトバリアは必須 ✓ C拡張ライブラリに手を入れる ✓ 今までの資産が使えなくなる恐れ？ ✓ Ruby2.0で対応？ 193/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

195. スムーズな移行を目指すために

196. ライトバリア挿入支援 ✓ ココにライトバリア入ってませんよ…的な警告を出す ✓ スムーズな移行 ✓ GC本共著者の相川さんの研究があった 195/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

197. まとめると

198. CRubyGCをどうしたいか？ ✓ CRubyにあった進化をしたい ✓ 保守的GCでどれだけいけるか？ 197/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

199. とはいえ

200. 「千里の道も一歩から」

201. コツコツ行こうぜ！

202. 個人的なコツコツ予定 ✓ 賢いオブジェクトアロケート ✓ マーク時間の短縮 201/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

203. 賢いオブジェクトアロケート

204. 賢いオブジェクトアロケート 203/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

205. 考え方 ✓ よく使われるものをよく使わせる ✓ あまり使われないものを後に使わせる ✓ 解放されやすくなる ✓ 本当か？（CPythonだからうまくいった？） 204/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

206. マーク時間の短縮

207. 案 ✓ マーク並列化 ✓ マークの再帰をやめる ✓ シンボルなどをマーク対象から外す 206/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

208. その他

209. その他 ✓ 特定の型を特別にアロケート（文字列専用ヒープとか） ✓ BoehmGC化 208/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

210. みなさんにお願いしたいこと

211. Rubyistのみなさま

212. 情報が欲しい ✓ こんなアプリでGCが遅いとか ✓ とにかく公開してくれるといい ✓ ご家庭のブログでも、MLでも、どこでも 211/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

213. 研究畑のみなさま

214. いろいろ公開して欲しい ✓ Rejectされた論文とか ✓ せめてソースコードとか… ✓ 見える所に情報を書いてもらえると嬉しい 213/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

215. 暇なみなさま

216. 大チャンス ✓ RubyGCはまだまだ途上です ✓ Rubyの中でも狙い目 ✓ 未踏的なネタで一つどうですか？ 215/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

217. 暇つぶしに ✓ やってみては ✓ 全然うまくいかない ✓ だから楽しい ✓ 最高の暇つぶし 216/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

218. 今日のまとめ

219. 今日のまとめ ✓ GCを遅く（遅延）できたよー ✓ 今後もコツコツ改善（コツコツ大事） ✓ GCの妄想楽しいです(^q^) 218/221 われわれは、GCをX倍遅くできる - We can make the GC X times slower than the original Powered by Rabbit 0.6.5

220. 提供 (株)ネットワーク応用通信研究所

222. 質疑応答タイム

われわれは、GCをX倍遅くできる

われわれは、GCをX倍遅くできる

Recommended

More Related Content

Viewers also liked

Viewers also liked(12)

More from Narihiro Nakamura

More from Narihiro Nakamura(15)

われわれは、GCをX倍遅くできる