Deeplearning4.4 takmin

8,131 views
9,157 views

Published on

5/22 CV勉強会@関東の発表資料

Published in: Technology
0 Comments
10 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
8,131
On SlideShare
0
From Embeds
0
Number of Embeds
5,360
Actions
Shares
0
Downloads
79
Comments
0
Likes
10
Embeds 0
No embeds

No notes for slide

Deeplearning4.4 takmin

  1. 1. CV勉強会@関東 発表資料 CV最先端ガイド6 ディープラーニング 4.3章-6章 2014/05/25 takmin
  2. 2. 発表内容 4.3 Deep Belief Network 4.4 Deep Boltzmann Machine 4.5 Convolutional DBM 5. ソフトウェア 6. おわりに
  3. 3. Deep Belief Network
  4. 4. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗
  5. 5. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 𝑝 𝒉2 , 𝒉3 Restricted Boltzmann Machine
  6. 6. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃)
  7. 7. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝑝 𝒉1 𝒉2
  8. 8. Deep Belief Network 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝑝 𝒗 𝒉1 𝑝 𝒉1 𝒉2
  9. 9. 𝑝 𝒉𝑙 𝒉𝑙+1 Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0
  10. 10. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1
  11. 11. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 = σ 𝑐𝑖 𝑙 + 𝑗 𝑊𝑖𝑗 𝑙+1 ℎ𝑗 𝑙+1 (53)
  12. 12. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 𝑝 𝒗, 𝒉; 𝜃 = 𝑙=0 𝐿−2 𝑝 𝒉𝑙 𝒉𝑙+1 𝑝 𝒉 𝐿−1, 𝒉 𝐿 (52) ネットワーク全体の同時確率 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 = σ 𝑐𝑖 𝑙 + 𝑗 𝑊𝑖𝑗 𝑙+1 ℎ𝑗 𝑙+1 (53)
  13. 13. Deep Belief Network Restricted Boltzmann Machine 𝑝 𝒉 𝐿−1, 𝒉 𝐿 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒉 𝐿−1 , 𝒉 𝐿 ; 𝜃) 𝒉3 𝒉2 𝒉1 𝒉0 𝑝 𝒉𝑙 𝒉𝑙+1 = 𝑖 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 𝑝 𝒗, 𝒉; 𝜃 = 𝑙=0 𝐿−2 𝑝 𝒉𝑙 𝒉𝑙+1 𝑝 𝒉 𝐿−1, 𝒉 𝐿 (52) ネットワーク全体の同時確率 𝑝 ℎ𝑖 𝑙 𝒉𝑙+1 = σ 𝑐𝑖 𝑙 + 𝑗 𝑊𝑖𝑗 𝑙+1 ℎ𝑗 𝑙+1 (53)
  14. 14. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 ここが与えられた時の この各ユニットの分布 (1になる確率) (リンクの重み𝑾は学習済み)
  15. 15. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 観測データ 下の層から順に推論 教師ありの場合、この値を 更にロジスティック回帰や SVMに使用
  16. 16. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 注: この式は解析的に求まらない。 あくまで近似。
  17. 17. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 通常のRestricted Boltzmann Machineとして 最上位のユニットの確率 分布を計算
  18. 18. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙
  19. 19. 推論 分布𝑝 𝒉 𝒗 を求めたい。 𝒉3 𝒉2 𝒉1 𝒗 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 q 1 0
  20. 20. プレトレーニング 𝒉3 𝒉2 𝒉1 𝒗 リンクの重み𝑾 各ユニットの重み𝑐𝑖 𝑙 を学習
  21. 21. プレトレーニング 𝒉3 𝒉2 𝒉1 𝒗 学習データ 下の層から順に学習
  22. 22. プレトレーニング 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 無視
  23. 23. プレトレーニング 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 無視
  24. 24. プレトレーニング 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 無視 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 から学習データを生成
  25. 25. プレトレーニング 𝒉3 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 (54) 𝑞 ℎ𝑖 𝑙 = 1 𝒉𝑙−1 = σ 𝑐𝑖 𝑙 + 𝑗 ℎ𝑗 𝑙−1 𝑊𝑖𝑗 𝑙 から学習データを生成
  26. 26. Deep Boltzmann Machine
  27. 27. Deep Boltzmann Machine 𝒉3 𝒉2 𝒉1 𝒗 𝒉3 𝒉2 𝒉1 𝒗 Deep Boltzmann Machine Deep Belief Network 無向グラフ 有向グラフ
  28. 28. Deep Boltzmann Machine 𝒉2 𝒉1 𝒗 𝐸 𝒗, 𝒉; 𝜃 = − 𝑖=1 𝑁 𝑉 𝑏𝑖 𝑣𝑖 − 𝑗=1 𝑁 𝐻 1 𝑐𝑗 1 ℎ𝑗 1 − 𝑖,𝑗 𝑣𝑖 𝑊𝑖𝑗 1 ℎ𝑗 1 − 𝑗=1 𝑁 𝐻 2 𝑐𝑗 2 ℎ𝑗 2 − 𝑗,𝑘 ℎ𝑗 1 𝑊𝑗𝑘 2 ℎ 𝑘 2 隠れ層が2層の場合 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃) ネットワーク全体の同時確率 (55)
  29. 29. Deep Boltzmann Machine 𝒉2 𝒉1 𝒗 𝐸 𝒗, 𝒉; 𝜃 = − 𝑖=1 𝑁 𝑉 𝑏𝑖 𝑣𝑖 − 𝑗=1 𝑁 𝐻 1 𝑐𝑗 1 ℎ𝑗 1 − 𝑖,𝑗 𝑣𝑖 𝑊𝑖𝑗 1 ℎ𝑗 1 − 𝑗=1 𝑁 𝐻 2 𝑐𝑗 2 ℎ𝑗 2 − 𝑗,𝑘 ℎ𝑗 1 𝑊𝑗𝑘 2 ℎ 𝑘 2 隠れ層が2層の場合 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃) ネットワーク全体の同時確率 (55)
  30. 30. Deep Boltzmann Machine 𝐸 𝒗, 𝒉; 𝜃 = − 𝑙=0 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝑐𝑗 𝑙 ℎ𝑗 𝑙 − 𝑙=1 𝐿 𝑖,𝑘 ℎ𝑖 𝑙−1 𝑊𝑖𝑘 𝑙 ℎ 𝑘 𝑙 一般化 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃) ネットワーク全体の同時確率 (55)’ 𝒉 𝐿 𝒉𝑙 𝒉1 𝒉0
  31. 31. 推論 𝒉2 𝒉1 𝒗 分布𝑝 𝒉 𝒗 を求めたい。 ここが与えられた時の この各ユニットの分布 (1になる確率) (リンクの重み𝑾は学習済み)
  32. 32. 推論 𝒉2 𝒉1 𝒗 分布𝑝 𝒉 𝒗 を求めたい。 (リンクの重み𝑾は学習済み) 観測データ 平均場近似で求める
  33. 33. 平均場近似による推論 𝒉2 𝒉1 𝒗 各ユニットの状態を独立 として近似 𝑞 𝒉 𝒗 ≡ 𝑙 𝑗 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 𝒗 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 (56) (57) 𝑞 𝒉 𝒗 を𝑝 𝒉 𝒗; 𝜃 と近い関数形にしたい。 → 𝑞と𝑝のKLダイバージェンス最小化
  34. 34. 平均場近似による推論 𝒉2 𝒉1 𝒗 各ユニットの状態を独立 として近似 𝑞 𝒉 𝒗 ≡ 𝑙 𝑗 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 𝒗 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 (56) (57) 𝑝 𝒗, 𝒉; 𝜃 = 1 𝑍(𝜃) 𝑒𝑥𝑝 −𝐸(𝒗, 𝒉; 𝜃)
  35. 35. 平均場近似による推論 𝒉2 𝒉1 𝒗 各ユニットの状態を独立 として近似 𝑞 𝒉 𝒗 ≡ 𝑙 𝑗 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 𝒗 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 (56) (57) 𝐸 𝒗, 𝒉; 𝜃 = − 𝑙=0 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝑐𝑗 𝑙 ℎ𝑗 𝑙 − 𝑙=1 𝐿 𝑖,𝑘 ℎ𝑖 𝑙−1 𝑊𝑖𝑘 𝑙 ℎ 𝑘 𝑙 (55)’
  36. 36. 平均場近似による推論 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 (57) 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 = 𝑙=1 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝜇 𝑗 𝑙 ln 𝜇 𝑗 𝑙 + 1 − 𝜇 𝑗 𝑙 ln 1 − 𝜇 𝑗 𝑙 − 𝑙=0 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝑐𝑗 𝑙 𝜇 𝑗 𝑙 − 𝑙=1 𝐿 𝑗=1 𝑁 𝐻 𝑙 𝜇 𝑗 𝑙−1 𝑊𝑗 𝑙 𝜇 𝑗 𝑙 μ 𝑗 𝑙 ≡ 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 = 1 𝒗 とすると
  37. 37. 平均場近似による推論 𝑞∗ 𝒉 𝒗 = argmin 𝑞 𝒟 𝑞 𝒉 𝒗 𝑝 𝒉 𝒗; 𝜃 (57) μ 𝑗 𝑙 ≡ 𝑞 𝑗 𝑙 ℎ𝑗 𝑙 = 1 𝒗 𝜕 𝜕μ 𝑗 𝑙 𝒟 𝑞 𝑝 =0 を解くと、μ 𝑗 𝑙 の停留点は μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 (58)
  38. 38. 平均場近似による推論:手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 (58) 各ユニットの停留点 観測データ 適当な初期値
  39. 39. 平均場近似による推論:手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 (58) 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
  40. 40. 平均場近似による推論:手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 (58) 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
  41. 41. 平均場近似による推論:手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 (58) 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
  42. 42. 平均場近似による推論:手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 (58) 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
  43. 43. 平均場近似による推論:手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 (58) 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
  44. 44. 平均場近似による推論:手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 (58) 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
  45. 45. 平均場近似による推論:手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 (58) 各ユニットの停留点 各ユニットが収束するまで更新を 繰り返す
  46. 46. 平均場近似による推論:手順 𝒉2 𝒉1 𝒗 μ 𝑗 𝑙 = σ 𝑐𝑗 𝑙 + 𝑖 μ𝑖 𝑙−1 𝑊𝑖𝑗 𝑙 + 𝑘 𝑊𝑗𝑘 𝑙+1 μ 𝑘 𝑙+1 (58) 各ユニットの停留点 各ユニットのμ 𝑗 𝑙 が、推論結果 (1となる確率)
  47. 47. プレトレーニング 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 𝑝 ℎ𝑗 1 = 1 𝒗 = σ 𝑖 𝑣𝑖 𝑊𝑖𝑗 1 𝑝 𝑣𝑖 = 1 𝒉1 = σ 𝑗 𝑊𝑖𝑗 1 ℎ𝑗 1 RBMの場合(簡単のためバイアス項は除いている) (41) (42) パラメータ𝑾1の 更新に使う
  48. 48. プレトレーニング 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 Deep Boltzmann Machineの場合(簡単のためバイアス項は除いている) (60) (59) 上下の層から影響あるので、2倍 𝑝 ℎ𝑗 1 = 1 𝒗 = σ 𝑖 𝑣𝑖 𝑊𝑖𝑗 1 + 𝑖 𝑣𝑖 𝑊𝑖𝑗 1 𝑝 𝑣𝑖 = 1 𝒉1 = σ 𝑗 𝑊𝑖𝑗 1 ℎ𝑗 1
  49. 49. プレトレーニング 𝒉2 𝒉1 𝒗 Restricted Boltzmann Machineとして学習 Deep Boltzmann Machineの場合(簡単のためバイアス項は除いている) 𝑝 ℎ 𝑘 2 = 1 𝒉1 = σ 𝑗 ℎ𝑗 1 𝑊𝑖𝑗 2 𝑝 ℎ𝑗 1 = 1 𝒉2 = σ 𝑘 𝑊𝑖𝑘 2 ℎ 𝑘 2 + 𝑘 𝑊𝑖𝑘 2 ℎ 𝑘 2 (62) (61) 上下の層から影響あるので、2倍
  50. 50. 微調整 𝒉2 𝒉1 𝒗 全体のパラメータを学習 プレトレーニングの結果が初期値 𝜕𝒟 𝜕𝜃 = 𝜕𝐸 𝜕𝜃 𝑑𝑎𝑡𝑎 − 𝜕𝐸 𝜕𝜃 𝑚𝑜𝑑𝑒𝑙 (39) パラメータ全体から計算
  51. 51. 微調整 𝒉2 𝒉1 𝒗 𝜕𝒟 𝜕𝜃 = 𝜕𝐸 𝜕𝜃 𝑑𝑎𝑡𝑎 − 𝜕𝐸 𝜕𝜃 𝑚𝑜𝑑𝑒𝑙 (39) − 𝜕𝐸 𝜕𝑊𝑖𝑗 𝑙 𝑑𝑎𝑡𝑎 = 1 𝑁 𝑛 𝑣𝑖 𝑛 μ 𝑗 𝑙𝑛 − 𝜕𝐸 𝜕𝑏𝑖 𝑑𝑎𝑡𝑎 = 1 𝑁 𝑛 𝑣𝑖 𝑛 − 𝜕𝐸 𝜕𝑐𝑗 𝑙 𝑑𝑎𝑡𝑎 = 1 𝑁 𝑛 μ 𝑗 𝑙𝑛 CD法で計算 𝑣𝑖 𝑛 :n番目の学習データ n番目のデータから平均 場近似した条件付き確率 μ 𝑗 𝑙𝑛 :
  52. 52. Convolutional DBM
  53. 53. Convolutional DBM ・・・ ・・・ 𝒉 𝒗 𝑾1 𝑾2 𝑾3 𝐵 𝛼 畳込みとMax Pooling を生成モデル(RBM)に組込む 𝐸 𝒗, 𝒉 = − 𝑘 𝑖,𝑗 ℎ𝑖,𝑗 𝑘 𝑾 𝑘 ∗ 𝑣 𝑖,𝑗 + 𝑐 𝑘ℎ𝑖,𝑗 𝑘 − 𝑏 𝑖,𝑗 𝑣𝑖,𝑗 (66) (67)subject to 入力への畳み込み 𝐵 𝛼内の出力はどれか1つだけ1,または全て0 (𝑖,𝑗)∈𝐵 𝛼 ℎ𝑖,𝑗 𝑘 ≤ 1, ∀𝑘, 𝛼 バイアス
  54. 54. ソフトウェア
  55. 55. ソフトウェア  Deep Learningのソフトウェアへのリンクまとめサイト  http://deeplearning.net/software_links/
  56. 56. ソフトウェア 名前 言語 URL 高速化 開発元 アルゴリズム Theano Python http://deeplearning. net/software/thean o • CUDA • BLAS モントリ オール大 学LISA • CNN • DBN • DBM EBlearn C++ http://eblearn.cs.ny u.edu:21991/ • IPP • SSE • OpenMP ニューヨー ク大学 CBLL • CNN cuda- convnet Python C++ http://code.google.c om/p/cuda-convnet • CUDA A.Krizhevs ky@トロン ト大 • CNN Caffe C++ http://caffe.berkele yvision.org/index.ht ml • CUDA カリフォル ニア大 バーク レー校 BVLC • CNN ConvNet JS JavaScr ipt http://cs.stanford.e du/people/karpathy /convnetjs/ A.Karpath y@スタン フォード大 • CNN
  57. 57. おわりに  ディープラーニングは各種のベンチマークや コンテストで著しい成果を挙げている。  なぜ、そんなに性能が良いのか?  プレトレーニングが重要であるという説  過完備な特徴セットによるスパース表現が本質で あるという説

×