Download as PDF, PPTX
![勾配の計算：誤差逆伝搬
• 目的関数を最小にするには勾配の計算が必要
• 勾配の計算＝誤差逆伝搬 = r✓l(f(x(t)
; ✓), y(t)
)
✓ ✓ + ↵
a(1)
(x)
a(2)
(x)
a(3)
(x)
h(2)
(x)
h(1)
(x)
f(x) = h(3)
(x)
g
g
o
b(1)
W (1)
b(3)
b(2)
W (2)
W (3)
x
l(f(x), y)
a(1)
(x)
a(2)
(x)
a(3)
(x)
h(2)
(x)
h(1)
(x)
f(x) = h(3)
(x)
g
g
o
b(1)
W (1)
b(3)
b(2)
W (2)
W (3)
x
l(f(x), y)
rW (2) l(f(x), y) ra(2)(x)l(f(x), y)h(2)
(x)T
ra(2)(x)l(f(x), y) rh(2)(x)l(f(x), y) [..., g0
(a(2)
(x)), ...]
rh(2)(x)l(f(x), y) W(3)T
ra(3)(x)l(f(x), y)
13](https://image.slidesharecdn.com/tensorflowpdt-151127071319-lva1-app6891/85/TensorFlow-White-Paper-13-320.jpg)
![勾配の計算：誤差逆伝搬
• Hugo Larochelleの講義にGo https://goo.gl/UWtRWT
a(1)
(x)
a(2)
(x)
a(3)
(x)
h(2)
(x)
h(1)
(x)
f(x) = h(3)
(x)
g
g
o
b(1)
W (1)
b(3)
b(2)
W (2)
W (3)
x
l(f(x), y)
a(1)
(x)
a(2)
(x)
a(3)
(x)
h(2)
(x)
h(1)
(x)
f(x) = h(3)
(x)
g
g
o
b(1)
W (1)
b(3)
b(2)
W (2)
W (3)
x
l(f(x), y)
rW (2) l(f(x), y) ra(2)(x)l(f(x), y)h(2)
(x)T
ra(2)(x)l(f(x), y) rh(2)(x)l(f(x), y) [..., g0
(a(2)
(x)), ...]
rh(2)(x)l(f(x), y) W(3)T
ra(3)(x)l(f(x), y)
14](https://image.slidesharecdn.com/tensorflowpdt-151127071319-lva1-app6891/85/TensorFlow-White-Paper-14-320.jpg)
![勾配の計算：誤差逆伝搬
• 主要DLライブラリは勾配を自動に計算
• 実はあまり気にしないでいい
a(1)
(x)
a(2)
(x)
a(3)
(x)
h(2)
(x)
h(1)
(x)
f(x) = h(3)
(x)
g
g
o
b(1)
W (1)
b(3)
b(2)
W (2)
W (3)
x
l(f(x), y)
a(1)
(x)
a(2)
(x)
a(3)
(x)
h(2)
(x)
h(1)
(x)
f(x) = h(3)
(x)
g
g
o
b(1)
W (1)
b(3)
b(2)
W (2)
W (3)
x
l(f(x), y)
rW (2) l(f(x), y) ra(2)(x)l(f(x), y)h(2)
(x)T
ra(2)(x)l(f(x), y) rh(2)(x)l(f(x), y) [..., g0
(a(2)
(x)), ...]
rh(2)(x)l(f(x), y) W(3)T
ra(3)(x)l(f(x), y)
15](https://image.slidesharecdn.com/tensorflowpdt-151127071319-lva1-app6891/85/TensorFlow-White-Paper-15-320.jpg)
![微分計算 (bprop)
• [db, dW, dx] = tf.gdadients( C, [b, W, x] )](https://image.slidesharecdn.com/tensorflowpdt-151127071319-lva1-app6891/85/TensorFlow-White-Paper-30-320.jpg)
More Related Content
Similar to TensorFlow White Paperを読む
![[第2版]Python機械学習プログラミング 第14章](https://cdn.slidesharecdn.com/ss_thumbnails/14-190318023253-thumbnail.jpg?width=640&height=640&fit=bounds)
![[第2版]Python機械学習プログラミング 第13章](https://cdn.slidesharecdn.com/ss_thumbnails/13-190318023252-thumbnail.jpg?width=640&height=640&fit=bounds)
TensorFlow White Paperを読む
- 1.
- 2. 今日の内容 • 自己紹介 • 神経回路網と実装 •TensorFlow White Paerの概説 2
- 3.
- 4. 自己紹介 • バクフー株式会社 代表取締役柏野 雄太 (かしの ゆうた) • 大規模リアルタイムデータのデータプラットフォーム • PPPP preprocess /process /persistence /providing 4
- 5.
- 6. 自己紹介 • 大規模リアルタイムのデータプラットフォーム リアルタイムデータ 前処理処理 ストア 提供 tweets 整形 自然言語処理・分類 API, 検索, 可視化 気象データ 変換 分類・異常値検知 API, 検索,ストリー ミング 位置データ 変換 分類 API, 検索, スト リーミング 経済データ 整形・変換 異常値検知 API, 検索, 可視化 6
- 7. 自己紹介 • Zope3の開発 • Python •いくつかの本 • PyCon JP 2015でのトーク • バックグラウンドは宇宙物理学 • 大規模データ統計解析，科学計算 • 深層学習ウオッチャー: 2012年Hinton講義 https://goo.gl/GG4Bo8 https://www.coursera.org/course/neuralnets 7
- 8.
- 9. 神経回路の数理表現 9 h(k) (x) = g(a(k) (x)) a(k) (x)= b(k) + W (k) h(k 1) (x) … … … 1 1 1 b(3) b(2) b(1) W (1) W (2) W (3) x1 x2 xd a(3) (x) = b(3) + W (3) h(2) (x) = b(3) + W (3) g(b(2) + W (2) h(1) (x)) = b(3) + W (3) g(b(2) + W (2) g(b(1) + W (1) x)) h(0) (x) = x h(1) (x) = g(a(1) (x)) h(2) (x) = g(a(2) (x)) a(1) (x) = b(1) + W (1) h(0) (x) a(2) (x) = b(2) + W (2) h(1) (x) a(3) (x) = b(3) + W (3) h(2) (x) h(3) (x) = o(a(3) (x)) = f(x) a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x
- 10. マルチレイヤー神経回路 • L個の隠れ層の神経回路 • プレ活性 •隠れ層活性 • 出力層活性 • レイヤーは関数適用に他ならない 10 h(k) (x) = g(a(k) (x)) a(k) (x) = b(k) + W (k) h(k 1) (x) h(L+1) (x) = o(a(L+1) (x)) = f(x) a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x
- 11. 機械学習と損失関数 • パラメータ・トレーニングセット • 目的関数最小化 •損失関数・正則関数 a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) ✓ = {W (1) , b(1) , ..., W (L+1) , b(L+1) } (x(t) , y(t) ) ⌦(✓) l(f(x(t) ; ✓), y(t) ) = logf(x(t) )y L(✓) = 1 T X t l(f(x(t) ; ✓), y(t) ) + ⌦(✓) argmin✓L(✓) 11
- 12. 勾配降下と確率的勾配降下 • 目的関数Lを最小化：勾配の方向にθを動かす • 確率的勾配降下：ミニバッチt だけをみて勾配 計算 = r✓l(f(x(t) ; ✓), y(t) ) ✓ ✓ + ↵ Lの等高線 α: 学習率 12
- 13. 勾配の計算：誤差逆伝搬 • 目的関数を最小にするには勾配の計算が必要 • 勾配の計算＝誤差逆伝搬= r✓l(f(x(t) ; ✓), y(t) ) ✓ ✓ + ↵ a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) rW (2) l(f(x), y) ra(2)(x)l(f(x), y)h(2) (x)T ra(2)(x)l(f(x), y) rh(2)(x)l(f(x), y) [..., g0 (a(2) (x)), ...] rh(2)(x)l(f(x), y) W(3)T ra(3)(x)l(f(x), y) 13
- 14. 勾配の計算：誤差逆伝搬 • Hugo Larochelleの講義にGohttps://goo.gl/UWtRWT a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) rW (2) l(f(x), y) ra(2)(x)l(f(x), y)h(2) (x)T ra(2)(x)l(f(x), y) rh(2)(x)l(f(x), y) [..., g0 (a(2) (x)), ...] rh(2)(x)l(f(x), y) W(3)T ra(3)(x)l(f(x), y) 14
- 15. 勾配の計算：誤差逆伝搬 • 主要DLライブラリは勾配を自動に計算 • 実はあまり気にしないでいい a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x)= h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) rW (2) l(f(x), y) ra(2)(x)l(f(x), y)h(2) (x)T ra(2)(x)l(f(x), y) rh(2)(x)l(f(x), y) [..., g0 (a(2) (x)), ...] rh(2)(x)l(f(x), y) W(3)T ra(3)(x)l(f(x), y) 15
- 16. ライブラリ利用で必要なのは • データを入れる場所：テンソル • レイヤーの表現 •活性化関数・出力関数 • 損失関数 • 最適化法 • 勾配計算（誤差伝搬） • GPUへの対応 a(1) (x) a(2) (x) a(3) (x) h(2) (x) h(1) (x) f(x) = h(3) (x) g g o b(1) W (1) b(3) b(2) W (2) W (3) x l(f(x), y) 16
- 17.
- 18. TensorFlowキャッチ • 分散計算Theano • 最もマーケティングに成功しつつある深層学 習ライブラリ •最初のリリースについて機能的にガッカリ…
- 19.
- 20. インストール • 最初のリリースは動作環境も生焼け… • Python2.7でないと動かない •GPU: CUDA7.0 (7.5は動作しない） • ProtocolBuffのバージョンでCaffeと衝突するこ とがある
- 21.
- 22. ご注意 • White Paperに関して一つ一つのパラグラフを 追いません •1stリリースのTensorFlowはWhite Paperにあ る実装の半分以上が実装されていません
- 23. コンセプトとモデリング • 有向非巡回グラフ(DAG)で計算を表現: • Theano,Chainerと同じ • nodeはoperationと呼ばれin/outを持つ • operationはtensorを取ってtensorを返す • opを実行する物理的実体がkernel op op op op op op
- 24. コンセプトとモデリング • 最初にoperationのグラフを定義 • グラフの計算はsession内のrunで実行される •Chainer的には“define and run” • sessionはdevice非依存：マルチデバイス，分 散実行
- 25.
- 27. コンセプトとモデリング • opのタイプ • valiables:パーシステントなtensorを生成する operation
- 28.
- 29.
- 30. 微分計算 (bprop) • [db,dW, dx] = tf.gdadients( C, [b, W, x] )
- 31.
- 32. 計算グラフのフロー制御 • 低レベルのオペレータはある • opの実行制御:Switch, Merge • イテレーション：Enter, Leave, NextIteration
- 33.
- 34. 実装の最適化 • 計算グラフの繰り返しや無駄を最適化 • GPUへのデータ転送，デバイス間の通信などたくさん最 適化している（詳細不明） •queueを使ったカーネルの非同期処理 • テンソル計算にはEigen libを使っている • デバイス間のデータ転送には桁落ちしない圧縮
- 35.
- 36.
- 37.
- 38. ビジュアライゼーション • TensorBoard python tensorboard.py--logdir=log-directory localhost:6006
- 39.
- 40. 今回の割愛 • 6 Statusand Experience • 9.2 Performance Tracing • 10 Future Work • 11 Related Work
- 41.
- 42. Multiple Devices? • シングルマシンのマルチGPUなら対応済み http://www.tensorflow.org/tutorials/deep_cnn/index.html pythoncifar10_multi_gpu_train.py --num_gpus=2
- 43.
- 44.
- 45. BlackBoxMLの動きも: skflow • Simplifiedinterface for TensorFlow (mimicking Scikit Learn) https://github.com/google/skflow
- 46.
- 47. 動画講義 (全力でオススメ) • DeepLearning Summer School 2015 • Hugo Larochelle (Twitter/U of Sherbrooke) • Nando de Freitas (Oxford) • CS231n: CNN for Visual Recognition • CS224d: DL for Natural Language Processing http://videolectures.net/deeplearning2015_montreal/ http://cs231n.stanford.edu/ http://cs224d.stanford.edu/index.html https://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/ https://goo.gl/UWtRWT 47
- 48. 書籍 • 古典: Bengioet.al. 2015 DLBook • Theano Tutorial • Neural Networks and Deep Learning • 岡谷貴之著 深層学習 (機械学習プロ) • 神嶌敏弘編 深層学習: Deep Learning http://www.iro.umontreal.ca/~bengioy/dlbook/ http://neuralnetworksanddeeplearning.com/ http://deeplearning.net/tutorial/deeplearning.pdf 48
- 49.