Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Deeplearning4.4 takmin
Similar to Deeplearning4.4 takmin (20)
More from Takuya Minagawa
More from Takuya Minagawa (20)
Recently uploaded
Recently uploaded (15)
Deeplearning4.4 takmin
- 2. 発表内容 4.3 Deep Belief Network 4.4 Deep Boltzmann Machine 4.5 Convolutional DBM 5. ソフトウェア 6. おわりに
- 5. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 𝑝 𝒉2 , 𝒉3 Restricted Boltzmann Machine
- 6. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃)
- 7. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝑝 𝒉1 𝒉2
- 8. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝑝 𝒗 𝒉1 𝑝 𝒉1 𝒉2
- 9. 𝑝 𝒉𝑙 𝒉𝑙+1 Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0
- 10. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1
- 11. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 = σ 𝑐𝑖 𝑙 + 𝑗 𝑊𝑖𝑗 𝑙+1 ℎ𝑗 𝑙+1 (53)
- 12. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 𝑝 𝒗, 𝒉; 𝜃 = 𝑙=0 𝐿−2 𝑝 𝒉𝑙 𝒉𝑙+1 𝑝 𝒉 𝐿−1, 𝒉 𝐿 (52) ネットワーク全体の同時確率 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 = σ 𝑐𝑖 𝑙 + 𝑗 𝑊𝑖𝑗 𝑙+1 ℎ𝑗 𝑙+1 (53)
- 13. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 𝑝 𝒗, 𝒉; 𝜃 = 𝑙=0 𝐿−2 𝑝 𝒉𝑙 𝒉𝑙+1 𝑝 𝒉 𝐿−1, 𝒉 𝐿 (52) ネットワーク全体の同時確率 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 = σ 𝑐𝑖 𝑙 + 𝑗 𝑊𝑖𝑗 𝑙+1 ℎ𝑗 𝑙+1 (53)
- 14. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 ここが与えられた時の この各ユニットの分布 (1になる確率) (リンクの重み𝑾は学習済み)
- 15. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 観測データ 下の層から順に推論 教師ありの場合、この値を 更にロジスティック回帰や SVMに使用
- 16. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 注： この式は解析的に求まらない。 あくまで近似。
- 17. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 通常のRestricted Boltzmann Machineとして 最上位のユニットの確率 分布を計算
- 18. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙
- 19. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 q 1 0
- 24. プレトレーニング 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 無視 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 から学習データを生成
- 25. プレトレーニング 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 から学習データを生成
- 27. Deep Boltzmann Machine 𝒉3 𝒉2 𝒉1 𝒗 𝒉3 𝒉2 𝒉1 𝒗 Deep Boltzmann Machine Deep Belief Network 無向グラフ 有向グラフ
- 28. Deep Boltzmann Machine 𝒉2 𝒉1 𝒗 𝐸 𝒗, 𝒉; 𝜃 = − 𝑖=1 𝑁 𝑉 𝑏𝑖 𝑣𝑖 − 𝑗=1 𝑁 𝐻 1 𝑐𝑗 1 ℎ𝑗 1 − 𝑖,𝑗 𝑣𝑖 𝑊𝑖𝑗 1 ℎ𝑗 1 − 𝑗=1 𝑁 𝐻 2 𝑐𝑗 2 ℎ𝑗 2 − 𝑗,𝑘 ℎ𝑗 1 𝑊𝑗𝑘 2 ℎ 𝑘 2 隠れ層が２層の場合 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃) ネットワーク全体の同時確率 （55）
- 29. Deep Boltzmann Machine 𝒉2 𝒉1 𝒗 𝐸 𝒗, 𝒉; 𝜃 = − 𝑖=1 𝑁 𝑉 𝑏𝑖 𝑣𝑖 − 𝑗=1 𝑁 𝐻 1 𝑐𝑗 1 ℎ𝑗 1 − 𝑖,𝑗 𝑣𝑖 𝑊𝑖𝑗 1 ℎ𝑗 1 − 𝑗=1 𝑁 𝐻 2 𝑐𝑗 2 ℎ𝑗 2 − 𝑗,𝑘 ℎ𝑗 1 𝑊𝑗𝑘 2 ℎ 𝑘 2 隠れ層が２層の場合 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃) ネットワーク全体の同時確率 （55）
- 30. Deep Boltzmann Machine 𝐸 𝒗, 𝒉; 𝜃 = − 𝑙=0 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝑐𝑗 𝑙 ℎ𝑗 𝑙 − 𝑙=1 𝐿 𝑖,𝑘 ℎ𝑖 𝑙−1 𝑊𝑖𝑘 𝑙 ℎ 𝑘 𝑙 一般化 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃) ネットワーク全体の同時確率 （55）’ 𝒉 𝐿 𝒉𝑙 𝒉1 𝒉0
- 31. 推論 𝒉2 𝒉1 𝒗 分布𝑝 𝒉 𝒗 を求めたい。 ここが与えられた時の この各ユニットの分布 (1になる確率) (リンクの重み𝑾は学習済み)
- 32. 推論 𝒉2 𝒉1 𝒗 分布𝑝 𝒉 𝒗 を求めたい。 (リンクの重み𝑾は学習済み) 観測データ 平均場近似で求める
- 33. 平均場近似による推論 𝒉2 𝒉1 𝒗 各ユニットの状態を独立 として近似 𝑞 𝒉 𝒗 ≡ 𝑙 𝑗 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 𝒗 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 （56） （57） 𝑞 𝒉 𝒗 を𝑝 𝒉 𝒗; 𝜃 と近い関数形にしたい。 → 𝑞と𝑝のKLダイバージェンス最小化
- 34. 平均場近似による推論 𝒉2 𝒉1 𝒗 各ユニットの状態を独立 として近似 𝑞 𝒉 𝒗 ≡ 𝑙 𝑗 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 𝒗 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 （56） （57） 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃)
- 35. 平均場近似による推論 𝒉2 𝒉1 𝒗 各ユニットの状態を独立 として近似 𝑞 𝒉 𝒗 ≡ 𝑙 𝑗 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 𝒗 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 （56） （57） 𝐸 𝒗, 𝒉; 𝜃 = − 𝑙=0 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝑐𝑗 𝑙 ℎ𝑗 𝑙 − 𝑙=1 𝐿 𝑖,𝑘 ℎ𝑖 𝑙−1 𝑊𝑖𝑘 𝑙 ℎ 𝑘 𝑙 （55）’
- 36. 平均場近似による推論 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 （57） 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 = 𝑙=1 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝜇 𝑗 𝑙 ln 𝜇 𝑗 𝑙 + 1 − 𝜇 𝑗 𝑙 ln 1 − 𝜇 𝑗 𝑙 − 𝑙=0 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝑐𝑗 𝑙 𝜇 𝑗 𝑙 − 𝑙=1 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝜇 𝑗 𝑙−1 𝑊𝑗 𝑙 𝜇 𝑗 𝑙 μ 𝑗 𝑙 ≡ 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 = 1 𝒗 とすると
- 37. 平均場近似による推論 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 （57） μ 𝑗 𝑙 ≡ 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 = 1 𝒗 𝜕 𝜕μ 𝑗 𝑙 𝒟 𝑞 𝑝 =0 を解くと、μ 𝑗 𝑙 の停留点は μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58）
- 38. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 観測データ 適当な初期値
- 39. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 40. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 41. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 42. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 43. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 44. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 45. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
- 46. 平均場近似による推論：手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 （58） 各ユニットの停留点 各ユニットのμ 𝑗 𝑙 が、推論結果 （1となる確率）
- 47. プレトレーニング 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 𝑝 ℎ𝑗 1 = 1 𝒗 = σ 𝑖 𝑣𝑖 𝑊𝑖𝑗 1 𝑝 𝑣𝑖 = 1 𝒉1 = σ 𝑗 𝑊𝑖𝑗 1 ℎ𝑗 1 RBMの場合（簡単のためバイアス項は除いている） (41) (42) パラメータ𝑾1の 更新に使う
- 48. プレトレーニング 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 Deep Boltzmann Machineの場合（簡単のためバイアス項は除いている） (60) (59) 上下の層から影響あるので、２倍 𝑝 ℎ𝑗 1 = 1 𝒗 = σ 𝑖 𝑣𝑖 𝑊𝑖𝑗 1 + 𝑖 𝑣𝑖 𝑊𝑖𝑗 1 𝑝 𝑣𝑖 = 1 𝒉1 = σ 𝑗 𝑊𝑖𝑗 1 ℎ𝑗 1
- 49. プレトレーニング 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 Deep Boltzmann Machineの場合（簡単のためバイアス項は除いている） 𝑝 ℎ 𝑘 2 = 1 𝒉1 = σ 𝑗 ℎ𝑗 1 𝑊𝑖𝑗 2 𝑝 ℎ𝑗 1 = 1 𝒉2 = σ 𝑘 𝑊𝑖𝑘 2 ℎ 𝑘 2 + 𝑘 𝑊𝑖𝑘 2 ℎ 𝑘 2 (62) (61) 上下の層から影響あるので、２倍
- 53. Convolutional DBM ・・・ ・・・ 𝒉 𝒗 𝑾1 𝑾2 𝑾3 𝐵 𝛼 畳込みとMax Pooling を生成モデル（RBM）に組込む 𝐸 𝒗, 𝒉 = − 𝑘 𝑖,𝑗 ℎ𝑖,𝑗 𝑘 𝑾 𝑘 ∗ 𝑣 𝑖,𝑗 + 𝑐 𝑘ℎ𝑖,𝑗 𝑘 − 𝑏 𝑖,𝑗 𝑣𝑖,𝑗 (66) (67)subject to 入力への畳み込み 𝐵 𝛼内の出力はどれか１つだけ１，または全て０ (𝑖,𝑗)∈𝐵 𝛼 ℎ𝑖,𝑗 𝑘 ≤ 1, ∀𝑘, 𝛼 バイアス
- 54. ソフトウェア
- 55. ソフトウェア Deep Learningのソフトウェアへのリンクまとめサイト http://deeplearning.net/software_links/
- 56. ソフトウェア 名前 言語 URL 高速化 開発元 アルゴリズム Theano Python http://deeplearning. net/software/thean o • CUDA • BLAS モントリ オール大 学LISA • CNN • DBN • DBM EBlearn C++ http://eblearn.cs.ny u.edu:21991/ • IPP • SSE • OpenMP ニューヨー ク大学 CBLL • CNN cuda- convnet Python C++ http://code.google.c om/p/cuda-convnet • CUDA A.Krizhevs ky＠トロン ト大 • CNN Caffe C++ http://caffe.berkele yvision.org/index.ht ml • CUDA カリフォル ニア大 バーク レー校 BVLC • CNN ConvNet JS JavaScr ipt http://cs.stanford.e du/people/karpathy /convnetjs/ A.Karpath y＠スタン フォード大 • CNN
- 57. おわりに ディープラーニングは各種のベンチマークや コンテストで著しい成果を挙げている。 なぜ、そんなに性能が良いのか？ プレトレーニングが重要であるという説 過完備な特徴セットによるスパース表現が本質で あるという説