Your SlideShare is downloading. ×
  • Like
人工知能はどんな夢を見るか?
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Now you can save presentations on your phone or tablet

Available for both IPhone and Android

Text the download link to your phone

Standard text messaging rates apply

人工知能はどんな夢を見るか?

  • 2,039 views
Published

2013年10月のCMU用のDeep Learning解説資料

2013年10月のCMU用のDeep Learning解説資料

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
2,039
On SlideShare
0
From Embeds
0
Number of Embeds
4

Actions

Shares
Downloads
3
Comments
0
Likes
2

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. 人工知能はどんな 夢を見るか? Creator’s MeetUp, Oct 19th, 2013 東京大学 工学系研究科 木脇太一 Saturday, October 19, 13
  • 2. 自己紹介 名前 ひととなり やってること Saturday, October 19, 13
  • 3. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり やってること Saturday, October 19, 13
  • 4. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア やってること Saturday, October 19, 13
  • 5. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア + やってること Saturday, October 19, 13
  • 6. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア + 研究者 やってること Saturday, October 19, 13
  • 7. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア + 研究者 やってること Saturday, October 19, 13
  • 8. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア + 研究者 2 やってること Saturday, October 19, 13
  • 9. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア + 研究者 2 やってること これから話すよ! Saturday, October 19, 13
  • 10. 今日話すこと Saturday, October 19, 13
  • 11. 今日話すこと Deep Learningって何? Saturday, October 19, 13
  • 12. 今日話すこと Deep Learningって何? 最近話題の人工知能技術 Saturday, October 19, 13
  • 13. 今日話すこと Deep Learningって何? 最近話題の人工知能技術 GoogleもMSも使ってる! Saturday, October 19, 13
  • 14. 今日話すこと Deep Learningって何? 最近話題の人工知能技術 GoogleもMSも使ってる! その正体は?! Saturday, October 19, 13
  • 15. 今日話すこと Deep Learningって何? 最近話題の人工知能技術 GoogleもMSも使ってる! その正体は?! 未来はどうなる?? Saturday, October 19, 13
  • 16. 2060年の予想 Saturday, October 19, 13
  • 17. 2060年の予想 Saturday, October 19, 13
  • 18. 2060年の予想 Saturday, October 19, 13
  • 19. 2060年の予想 カメラから物を判別できる Saturday, October 19, 13
  • 20. 2060年の予想 カメラから物を判別できる Saturday, October 19, 13
  • 21. 2060年の予想 カメラから物を判別できる 人間の言葉が理解できる Saturday, October 19, 13
  • 22. 2060年の予想 カメラから物を判別できる 人間の言葉が理解できる 人間の様に思考ができる Saturday, October 19, 13
  • 23. 2060年の予想 カメラから物を判別できる 人間の言葉が理解できる 人間の様に思考ができる 今後50年に近いものが 出来るだろう! Saturday, October 19, 13
  • 24. 2060年の予想 カメラから物を判別できる 人間の言葉が理解できる 人間の様に思考ができる 今後50年に近いものが 出来るだろう! となるのが今日話す Deep Learning Saturday, October 19, 13
  • 25. コップを取る Saturday, October 19, 13
  • 26. コップを取る Saturday, October 19, 13
  • 27. コップを取る Saturday, October 19, 13
  • 28. コップを取る Saturday, October 19, 13
  • 29. コップを取る Saturday, October 19, 13
  • 30. コップを取る Saturday, October 19, 13
  • 31. コップを取る Saturday, October 19, 13
  • 32. コップを取る Saturday, October 19, 13
  • 33. コップを取る Saturday, October 19, 13
  • 34. コップを取る すかし、ひな形 Saturday, October 19, 13
  • 35. コップを取る すかし、ひな形 特徴量 Saturday, October 19, 13
  • 36. コップを取る すかし、ひな形 特徴量 (Feature) Saturday, October 19, 13
  • 37. もっと他にも 別のアングル 別のものを取ってほ しい 更に難しいタスク 別のコップ Saturday, October 19, 13 買い物, etc.
  • 38. もっと他にも 別のアングル 別のものを取ってほ しい 更に難しいタスク 別のコップ 買い物, etc. エンジニア100万人いても どらえもん1人作れない orz Saturday, October 19, 13
  • 39. 私たちの脳に学ぶ Saturday, October 19, 13
  • 40. 私たちの脳に学ぶ Saturday, October 19, 13
  • 41. 私たちの脳に学ぶ 1.階層性 Saturday, October 19, 13
  • 42. 私たちの脳に学ぶ 1.階層性 2.教師なし Saturday, October 19, 13
  • 43. 私たちの脳に学ぶ 1.階層性 2.教師なし 3.汎用性 Saturday, October 19, 13
  • 44. 階層性 Saturday, October 19, 13
  • 45. 階層性 wikipedia Saturday, October 19, 13
  • 46. 階層性 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  • 47. 階層性 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  • 48. 階層性 (Camel by Pablo Picasso) http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  • 49. 階層性 (Camel by Pablo Picasso) http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  • 50. 階層性 (Camel by Pablo Picasso) http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  • 51. 階層性 (Camel by Pablo Picasso) 層 階 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  • 52. 階層性 (Camel by Pablo Picasso) 層 階 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  • 53. 階層性 (Camel by Pablo Picasso) 層 階 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  • 54. 階層性 (Camel by Pablo Picasso) 層 階 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  • 55. 階層性 (Camel by Pablo Picasso) 層 階 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  • 56. 教師なし Saturday, October 19, 13
  • 57. 教師なし Saturday, October 19, 13
  • 58. 教師なし Saturday, October 19, 13
  • 59. 教師なし Saturday, October 19, 13
  • 60. 教師なし Saturday, October 19, 13
  • 61. 区 別 で き る 教師なし Saturday, October 19, 13
  • 62. 区 別 で き る 教師なし Saturday, October 19, 13
  • 63. 区 別 で き る 教師なし Saturday, October 19, 13
  • 64. 汎用性 Saturday, October 19, 13
  • 65. 汎用性 音声 Saturday, October 19, 13
  • 66. 汎用性 音声 Saturday, October 19, 13 視角
  • 67. 汎用性 目からの情報を音声を 処理する部分につなぎ かえると? 音声 Saturday, October 19, 13 視角
  • 68. 汎用性 目からの情報を音声を 処理する部分につなぎ かえると? 音声 Saturday, October 19, 13 視角 “目が見える様になる”
  • 69. 汎用性 目からの情報を音声を 処理する部分につなぎ かえると? 音声 視角 “目が見える様になる” 脳の中のアルゴリズムは ただ一つ Saturday, October 19, 13
  • 70. Deep Learning 深い階層(5−10段)のニューラ ルネットワーク 教師なし学習(例外あるけどw) アルゴリズムは実際沢山ある(笑) けど基本的な考えはほぼ同じ Saturday, October 19, 13
  • 71. 具体的には? Saturday, October 19, 13
  • 72. 具体的には? Saturday, October 19, 13
  • 73. 具体的には? Saturday, October 19, 13
  • 74. 具体的には? ニューロン Saturday, October 19, 13
  • 75. 具体的には? ニューロン 神経細胞をまねた 計算素子 Saturday, October 19, 13
  • 76. 具体的には? ニューロン 神経細胞をまねた 計算素子 Saturday, October 19, 13
  • 77. 具体的には? ニューロン 神経細胞をまねた 計算素子 学習 Saturday, October 19, 13
  • 78. 具体的には? ニューロン 神経細胞をまねた 計算素子 学習 データの 共通性を探す Saturday, October 19, 13
  • 79. 具体的には? ニューロン 神経細胞をまねた 計算素子 学習 データの 共通性を探す Saturday, October 19, 13
  • 80. 具体的には? ニューロン Deep Learning = Learning Hierarchical Representations YL MA Ra 神経細胞をまねた It's deep if it has more than one stage of non-linear feature transformation Low-Level Mid-Level Feature High-Level Feature Feature 計算素子 Trainable Classifier 学習 データの 共通性を探す Saturday, October 19, 13
  • 81. 具体的には? ニューロン Deep Learning = Learning Hierarchical Representations YL MA Ra 神経細胞をまねた It's deep if it has more than one stage of non-linear feature transformation Low-Level Mid-Level Feature High-Level Feature Feature 計算素子 Trainable Classifier 学習 データの (from LeCun and Ranzato, ICML Tutorial ’13) Saturday, October 19, 13 共通性を探す
  • 82. 具体的には? Deep Learning = Learning Hierarchical Representations Y LeCun MA Ranzato It's deep if it has more than one stage of non-linear feature transformation Low-Level Feature ニューロン Deep Learning = Learning Hierarchical Representations Mid-Level High-Level Trainable Feature Feature Classifier It's deep if it has more than one stage of non-linear feature transformation 神経細胞をまねた Low-Level Mid-Level Feature High-Level Feature Feature 計算素子 Trainable Classifier 学習 データの (from LeCun and Ranzato, ICML Tutorial ’13) 共通性を探す Feature visualization of convolutional net trained on ImageNet from [Zeiler & Fergus 2013] Saturday, October 19, 13 YL MA Ra
  • 83. g = Learning Hierarchical Representations Y LeCun MA Ranzato 具体的には? s more than one stage of non-linear feature ow-Level Feature Deep Learning = Learning Hierarchical Representations Mid-Level High-Level Trainable Y LeCun MA Ranzato Feature Feature Classifier It's deep if it has more than one stage of non-linear feature transformation Low-Level Feature ニューロン Deep Learning = Learning Hierarchical Representations Mid-Level High-Level Trainable Feature Feature Classifier It's deep if it has more than one stage of non-linear feature transformation 神経細胞をまねた Low-Level Mid-Level Feature High-Level Feature Feature 計算素子 Trainable Classifier 学習 onvolutional net trained on ImageNet from [Zeiler & Fergus 2013] (from LeCun and Ranzato, ICML Tutorial ’13) データの 共通性を探す Feature visualization of convolutional net trained on ImageNet from [Zeiler & Fergus 2013] Saturday, October 19, 13 YL MA Ra
  • 84. 例:画像認識 IMAGENET 画像データベース Our model ● ● 2012年のコンテストで Max-pooling layers follow first, second, and fifth convolutional layers Deep Learningを使った The number of neurons in each layer is given チームが快勝 by 253440, 186624, 64896, 64896, 43264, 4096, 4096, 1000 (Krizhevsky et al., 2012) Saturday, October 19, 13
  • 85. 例:音声認識 英語ー中国語 Jelly Beanの音声認識 同時通訳 (MS) (by Google) http://news.xinhuanet.com/english/photo/2012-10/26/c_131931521.htm Saturday, October 19, 13
  • 86. これからどうなる インターネット上の技術革新 キーワード検索、画像検索、 音声検索、自動翻訳 ロボット技術の発展 ハード、ソフト両面での 設計コスト(人件費)の削減 Saturday, October 19, 13
  • 87. 参考 Bengio, 2012 ICML Tutorial LeCun and Ranzato, 2013 ICML Tutorial A Fast Learning Algorithm for Deep Belief Nets, Hinton et al., 2006 人工知能学会誌 連載解説 Deep Learning The Future of Robotics and AI, Ng, Youtube Saturday, October 19, 13
  • 88. Keywords Unsupervised Feature Learning Semi-supervised Learning Deep Belief Nets Restricted Boltzmann Machines Deep Auto Encoders Deep Neural Networks Saturday, October 19, 13
  • 89. http:/ /www.youtube.com/watch?v=Nu-nlQqFCKg Saturday, October 19, 13