Reading Spark MLlib optimization code.

1. Spark MLlib
Code Reading
Kai Sasaki(@Lewuathe)

2. Who am I?
• 佐々木海 (Kai Sasaki)
• Hadoop屋さん
• 好きな非線形関数はReLU

3. What is Spark?
• Scalaで書かれた汎用分散処理エンジン
• グラフ処理, 機械学習, SQLエンジンなど
のライブラリの付属
• Scala, Java, Python, RのAPIを持つ

4. MLlib
• Sparkに付属されている機械学習ライブラリ
• I/FやAPIがより洗練されたMLという
フレームワークもあるが実装されている
アルゴリズムがMLlibの方が多い

5. Structure

6. Structure
今日はこの中の
Gradient Descent

7. Gradient Descent
• 勾配法
• ある目的関数を最小化(最大化)するような
変数の組を見つけるためのアルゴリズム
• 学習データとのずれ(目的関数)を最小化するような
モデル(変数の組)を見つけるためによく使う

8. Gradient Descent
f(w)
w

9. Gradient Descent
f(w)
w
f(w)を最小化するwが知りたい

10. Gradient Descent
f(w)
w
1. 適当に初期値を決める

11. Gradient Descent
f(w)
w
2. この点における勾配を求める(微分する) =

12. Gradient Descent
f(w)
w
3. 変数を次式で更新する

13. Gradient Descent
f(w)
w
4. これを何回か繰り返す

14. Gradient Descent
f(w)
w
4. これを何回か繰り返す

15. Gradient Descent
f(w)
w
4. これを何回か繰り返す

16. Gradient Descent
f(w)
w
4. これを何回か繰り返す

17. Gradient Descent
f(w)
w
4. これを何回か繰り返す
ここがf(w)を最小化するw

18. Gradient Descent
• w: 変数の組
• : step size(学習率)
• : gradient(勾配)
• : 更新式
• loss: 目的関数の値

19. GradientDescent

20. GradientDescent#optimize

21. GradientDescent

22. GradientDescent
初期値
操作

23. GradientDescent
d d d d d d d d
p p p
seqOp seqOp seqOp

24. GradientDescent
d d d d d d d d
p p p
seqOp seqOp seqOp

25. GradientDescent
d d d d d d d d
p p p
seqOp seqOp seqOp

26. GradientDescent
d d d d d d d d
p p p
seqOp seqOp seqOp
combOp

27. GradientDescent
d d d d d d d d
p p p
seqOp seqOp seqOp
combOp
combOp

28. GradientDescent
d d d d d d d d
p p p
seqOp seqOp seqOp
combOp
result
combOp

29. GradientDescent

30. まとめ
• Gradient Descentアルゴリズムの話
• Sparkでの実装
• Gradient, Updater, treeAggregate