TensorFlow 研究会の発表資料 http://d-cube.connpass.com/event/23094/ 実験に使用したコード https://github.com/sfujiwara/stoch-optim

1. 思いついたアルゴリズムを
TensorFlow で実装してみた話
TensorFlow 勉強会＠ DeNA
藤原 秀平
2015-12-11
2015-12-11 1 / 12

2. 自己紹介
▶ 氏名: 藤原秀平
▶ Mail: shuhei.fujiwara@gmail.com
▶ 所属: TOPGATE inc.
▶ Google の技術を扱う会社です
▶ 学生のときは最適化と SVM やってました
▶ SVM 信者だったが, 流行に負けて最近ニューラルネットを
勉強し始めた
2015-12-11 2 / 12

3. あらすじ
1. TensorFlow でニューラルネットとかを実装して遊んでいたが, ステッ
プサイズの設定が面倒だった
2. 確率的勾配降下法に対抗して SVM に対する確率的近接点法っぽいも
のを思い付いて TensorFlow で実装してみた
3. 何か安定している気がする
4. ちょっと嬉しい
2015-12-11 3 / 12

4. 勾配降下法
min
w
{
f(w) =
∑
i
fi(w)
}
(1)
普通のやつ
wk+1 ← wk − η∇f(wk) (2)
確率的なやつ
wk+1 ← wk − η∇fi(wk) (3)
▶ ステップサイズ η が大きいと w が行方不明になる
2015-12-11 4 / 12

5. すべてが nan になる
▶ そろそろ見慣れてきた光景
▶ 悲しみに包まれる
2015-12-11 5 / 12

6. 近接点法
min
w
{
f(w) =
∑
i
fi(w)
}
(4)
近接点法の更新
wk+1 ∈ argmin
w
{
f(w) +
1
η
∥w − wk∥2
}
(5)
▶ Rockafellar 大先生曰くすごい
▶ w が行方不明にならなさそう
2015-12-11 6 / 12

7. 確率的な感じにしてみた
wk+1 ∈ argmin
w
{
fi(w) +
1
η
∥w − wk∥2
}
SVM で言うとこんな感じ
wk+1 ∈ argmin
w,ξ
λ
2
∥w∥2 + ξ +
1
2η
∥w − wk∥2
s.t. yi⟨w, xi⟩ ≥ 1 − ξ, ξ ≥ 0
(6)
▶ Passive-Aggressive に正則化項が付いた感じ
▶ この部分問題は陽に解けそうな匂いがする
2015-12-11 7 / 12

8. 解いた
wk+1 =
1
ηλ + 1
wk +
η
ηλ + 1
αyixi
where
α = min{max{0, ˜α}, 1},
˜α =
1
η∥xi∥2
{1 − yi⟨wk, xi⟩ + ηλ}
2015-12-11 8 / 12

9. TensorFlow で実装して走らせてみた
2015-12-11 9 / 12

10. TensorFlow で実装して走らせてみた
2015-12-11 10 / 12

11. ▶ η = 104 とかいう非常識な設定でも生存確認できた
▶ もちろん適切に設定すれば勾配法と同等以上っぽい感じで収束
▶ とりあえず行方不明にならないだけありがたい
2015-12-11 11 / 12

12. まとめと今後
▶ ニューラルネット以外にも TensorFlow を使ってみた
▶ 思い付いたアイデアを手軽に実装
▶ 思っていたより TensorBoard が便利だった
▶ TOPGATE 社では現在雑談対話エージェントの開発を行っています
▶ TensorFlow を実務で使った話とかできると良いですね
2015-12-11 12 / 12