人工知能はどんな
夢を見るか?
Creator’s MeetUp, Oct 19th, 2013
東京大学 工学系研究科
木脇太一
Saturday, October 19, 13
自己紹介
名前
ひととなり

やってること
Saturday, October 19, 13
自己紹介
名前
木脇 太一(きわき たいち)
ひととなり

やってること
Saturday, October 19, 13
自己紹介
名前
木脇 太一(きわき たいち)
ひととなり

エンジニア
やってること
Saturday, October 19, 13
自己紹介
名前
木脇 太一(きわき たいち)
ひととなり

エンジニア +
やってること
Saturday, October 19, 13
自己紹介
名前
木脇 太一(きわき たいち)
ひととなり

エンジニア + 研究者
やってること
Saturday, October 19, 13
自己紹介
名前
木脇 太一(きわき たいち)
ひととなり

エンジニア + 研究者
やってること
Saturday, October 19, 13
自己紹介
名前
木脇 太一(きわき たいち)
ひととなり

エンジニア + 研究者
2
やってること
Saturday, October 19, 13
自己紹介
名前
木脇 太一(きわき たいち)
ひととなり

エンジニア + 研究者
2
やってること
これから話すよ!
Saturday, October 19, 13
今日話すこと

Saturday, October 19, 13
今日話すこと
Deep Learningって何?

Saturday, October 19, 13
今日話すこと
Deep Learningって何?
最近話題の人工知能技術

Saturday, October 19, 13
今日話すこと
Deep Learningって何?
最近話題の人工知能技術
GoogleもMSも使ってる!

Saturday, October 19, 13
今日話すこと
Deep Learningって何?
最近話題の人工知能技術
GoogleもMSも使ってる!
その正体は?!

Saturday, October 19, 13
今日話すこと
Deep Learningって何?
最近話題の人工知能技術
GoogleもMSも使ってる!
その正体は?!
未来はどうなる??
Saturday, October 19, 13
2060年の予想

Saturday, October 19, 13
2060年の予想

Saturday, October 19, 13
2060年の予想

Saturday, October 19, 13
2060年の予想
カメラから物を判別できる

Saturday, October 19, 13
2060年の予想
カメラから物を判別できる

Saturday, October 19, 13
2060年の予想
カメラから物を判別できる
人間の言葉が理解できる

Saturday, October 19, 13
2060年の予想
カメラから物を判別できる
人間の言葉が理解できる
人間の様に思考ができる

Saturday, October 19, 13
2060年の予想
カメラから物を判別できる
人間の言葉が理解できる
人間の様に思考ができる
今後50年に近いものが
出来るだろう!

Saturday, October 19, 13
2060年の予想
カメラから物を判別できる
人間の言葉が理解できる
人間の様に思考ができる
今後50年に近いものが
出来るだろう!
となるのが今日話す
Deep Learning
Saturday, October 19, 13
コップを取る

Saturday, October 19, 13
コップを取る

Saturday, October 19, 13
コップを取る

Saturday, October 19, 13
コップを取る

Saturday, October 19, 13
コップを取る

Saturday, October 19, 13
コップを取る

Saturday, October 19, 13
コップを取る

Saturday, October 19, 13
コップを取る

Saturday, October 19, 13
コップを取る

Saturday, October 19, 13
コップを取る

すかし、ひな形

Saturday, October 19, 13
コップを取る

すかし、ひな形
特徴量

Saturday, October 19, 13
コップを取る

すかし、ひな形
特徴量
(Feature)

Saturday, October 19, 13
もっと他にも
別のアングル

別のものを取ってほ
しい
更に難しいタスク

別のコップ

Saturday, October 19, 13

買い物, etc.
もっと他にも
別のアングル

別のものを取ってほ
しい
更に難しいタスク

別のコップ

買い物, etc.
エンジニア100万人いても
どらえもん1人作れない
orz

Saturday, October 19, 13
私たちの脳に学ぶ

Saturday, October 19, 13
私たちの脳に学ぶ

Saturday, October 19, 13
私たちの脳に学ぶ
1.階層性

Saturday, October 19, 13
私たちの脳に学ぶ
1.階層性
2.教師なし

Saturday, October 19, 13
私たちの脳に学ぶ
1.階層性
2.教師なし
3.汎用性
Saturday, October 19, 13
階層性

Saturday, October 19, 13
階層性

wikipedia

Saturday, October 19, 13
階層性

http://www.mathworks.com/matlabcentral/
fx_files/23253/4/gabor.png
wikipedia

Saturday, October 19, 13
階層性

http://www.mathworks.com/matlabcentral/
fx_files/23253/4/gabor.png
wikipedia

Saturday, October 19, 13
階層性

(Camel by Pablo Picasso)

http://www.mathworks.com/matlabcentral/
fx_files/23253/4/gabor.png
wikipedia

Saturday, Octo...
階層性

(Camel by Pablo Picasso)

http://www.mathworks.com/matlabcentral/
fx_files/23253/4/gabor.png
wikipedia

Saturday, Octo...
階層性

(Camel by Pablo Picasso)

http://www.mathworks.com/matlabcentral/
fx_files/23253/4/gabor.png
wikipedia

Saturday, Octo...
階層性

(Camel by Pablo Picasso)

層
階

http://www.mathworks.com/matlabcentral/
fx_files/23253/4/gabor.png
wikipedia

Saturday,...
階層性

(Camel by Pablo Picasso)

層
階

http://www.mathworks.com/matlabcentral/
fx_files/23253/4/gabor.png
wikipedia

Saturday,...
階層性

(Camel by Pablo Picasso)

層
階

http://www.mathworks.com/matlabcentral/
fx_files/23253/4/gabor.png
wikipedia

Saturday,...
階層性

(Camel by Pablo Picasso)

層
階

http://www.mathworks.com/matlabcentral/
fx_files/23253/4/gabor.png
wikipedia

Saturday,...
階層性

(Camel by Pablo Picasso)

層
階

http://www.mathworks.com/matlabcentral/
fx_files/23253/4/gabor.png
wikipedia

Saturday,...
教師なし

Saturday, October 19, 13
教師なし

Saturday, October 19, 13
教師なし

Saturday, October 19, 13
教師なし

Saturday, October 19, 13
教師なし

Saturday, October 19, 13
区

別

で
き

る

教師なし

Saturday, October 19, 13
区

別

で
き

る

教師なし

Saturday, October 19, 13
区

別

で
き

る

教師なし

Saturday, October 19, 13
汎用性

Saturday, October 19, 13
汎用性

音声

Saturday, October 19, 13
汎用性

音声

Saturday, October 19, 13

視角
汎用性
目からの情報を音声を
処理する部分につなぎ
かえると?

音声

Saturday, October 19, 13

視角
汎用性
目からの情報を音声を
処理する部分につなぎ
かえると?

音声

Saturday, October 19, 13

視角

“目が見える様になる”
汎用性
目からの情報を音声を
処理する部分につなぎ
かえると?

音声

視角

“目が見える様になる”
脳の中のアルゴリズムは
ただ一つ

Saturday, October 19, 13
Deep Learning
深い階層(5−10段)のニューラ
ルネットワーク
教師なし学習(例外あるけどw)
アルゴリズムは実際沢山ある(笑)
けど基本的な考えはほぼ同じ
Saturday, October 19, 13
具体的には?

Saturday, October 19, 13
具体的には?

Saturday, October 19, 13
具体的には?

Saturday, October 19, 13
具体的には?
ニューロン

Saturday, October 19, 13
具体的には?
ニューロン
神経細胞をまねた
計算素子

Saturday, October 19, 13
具体的には?
ニューロン
神経細胞をまねた
計算素子

Saturday, October 19, 13
具体的には?
ニューロン
神経細胞をまねた
計算素子
学習

Saturday, October 19, 13
具体的には?
ニューロン
神経細胞をまねた
計算素子
学習
データの
共通性を探す
Saturday, October 19, 13
具体的には?
ニューロン
神経細胞をまねた
計算素子
学習
データの
共通性を探す
Saturday, October 19, 13
具体的には?
ニューロン

Deep Learning = Learning Hierarchical Representations

YL
MA Ra

神経細胞をまねた

It's deep if it has more than one...
具体的には?
ニューロン

Deep Learning = Learning Hierarchical Representations

YL
MA Ra

神経細胞をまねた

It's deep if it has more than one...
具体的には?

Deep Learning = Learning Hierarchical Representations

Y LeCun
MA Ranzato

It's deep if it has more than one stage...
g = Learning Hierarchical Representations

Y LeCun
MA Ranzato

具体的には?

s more than one stage of non-linear feature

ow-Lev...
例:画像認識
IMAGENET
画像データベース
Our model
●

●

2012年のコンテストで

Max-pooling layers follow first, second, and
fifth convolutional la...
例:音声認識
英語ー中国語

Jelly Beanの音声認識

同時通訳 (MS)

(by Google)

http://news.xinhuanet.com/english/photo/2012-10/26/c_131931521.htm...
これからどうなる
インターネット上の技術革新
キーワード検索、画像検索、
音声検索、自動翻訳
ロボット技術の発展
ハード、ソフト両面での
設計コスト(人件費)の削減
Saturday, October 19, 13
参考

Bengio, 2012 ICML Tutorial
LeCun and Ranzato, 2013 ICML
Tutorial
A Fast Learning Algorithm for
Deep Belief Nets, Hinto...
Keywords
Unsupervised Feature Learning
Semi-supervised Learning
Deep Belief Nets
Restricted Boltzmann Machines
Deep Auto E...
http:/
/www.youtube.com/watch?v=Nu-nlQqFCKg
Saturday, October 19, 13
Upcoming SlideShare
Loading in...5
×

人工知能はどんな夢を見るか?

2,330

Published on

2013年10月のCMU用のDeep Learning解説資料

0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
2,330
On Slideshare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
4
Comments
0
Likes
4
Embeds 0
No embeds

No notes for slide

人工知能はどんな夢を見るか?

  1. 1. 人工知能はどんな 夢を見るか? Creator’s MeetUp, Oct 19th, 2013 東京大学 工学系研究科 木脇太一 Saturday, October 19, 13
  2. 2. 自己紹介 名前 ひととなり やってること Saturday, October 19, 13
  3. 3. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり やってること Saturday, October 19, 13
  4. 4. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア やってること Saturday, October 19, 13
  5. 5. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア + やってること Saturday, October 19, 13
  6. 6. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア + 研究者 やってること Saturday, October 19, 13
  7. 7. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア + 研究者 やってること Saturday, October 19, 13
  8. 8. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア + 研究者 2 やってること Saturday, October 19, 13
  9. 9. 自己紹介 名前 木脇 太一(きわき たいち) ひととなり エンジニア + 研究者 2 やってること これから話すよ! Saturday, October 19, 13
  10. 10. 今日話すこと Saturday, October 19, 13
  11. 11. 今日話すこと Deep Learningって何? Saturday, October 19, 13
  12. 12. 今日話すこと Deep Learningって何? 最近話題の人工知能技術 Saturday, October 19, 13
  13. 13. 今日話すこと Deep Learningって何? 最近話題の人工知能技術 GoogleもMSも使ってる! Saturday, October 19, 13
  14. 14. 今日話すこと Deep Learningって何? 最近話題の人工知能技術 GoogleもMSも使ってる! その正体は?! Saturday, October 19, 13
  15. 15. 今日話すこと Deep Learningって何? 最近話題の人工知能技術 GoogleもMSも使ってる! その正体は?! 未来はどうなる?? Saturday, October 19, 13
  16. 16. 2060年の予想 Saturday, October 19, 13
  17. 17. 2060年の予想 Saturday, October 19, 13
  18. 18. 2060年の予想 Saturday, October 19, 13
  19. 19. 2060年の予想 カメラから物を判別できる Saturday, October 19, 13
  20. 20. 2060年の予想 カメラから物を判別できる Saturday, October 19, 13
  21. 21. 2060年の予想 カメラから物を判別できる 人間の言葉が理解できる Saturday, October 19, 13
  22. 22. 2060年の予想 カメラから物を判別できる 人間の言葉が理解できる 人間の様に思考ができる Saturday, October 19, 13
  23. 23. 2060年の予想 カメラから物を判別できる 人間の言葉が理解できる 人間の様に思考ができる 今後50年に近いものが 出来るだろう! Saturday, October 19, 13
  24. 24. 2060年の予想 カメラから物を判別できる 人間の言葉が理解できる 人間の様に思考ができる 今後50年に近いものが 出来るだろう! となるのが今日話す Deep Learning Saturday, October 19, 13
  25. 25. コップを取る Saturday, October 19, 13
  26. 26. コップを取る Saturday, October 19, 13
  27. 27. コップを取る Saturday, October 19, 13
  28. 28. コップを取る Saturday, October 19, 13
  29. 29. コップを取る Saturday, October 19, 13
  30. 30. コップを取る Saturday, October 19, 13
  31. 31. コップを取る Saturday, October 19, 13
  32. 32. コップを取る Saturday, October 19, 13
  33. 33. コップを取る Saturday, October 19, 13
  34. 34. コップを取る すかし、ひな形 Saturday, October 19, 13
  35. 35. コップを取る すかし、ひな形 特徴量 Saturday, October 19, 13
  36. 36. コップを取る すかし、ひな形 特徴量 (Feature) Saturday, October 19, 13
  37. 37. もっと他にも 別のアングル 別のものを取ってほ しい 更に難しいタスク 別のコップ Saturday, October 19, 13 買い物, etc.
  38. 38. もっと他にも 別のアングル 別のものを取ってほ しい 更に難しいタスク 別のコップ 買い物, etc. エンジニア100万人いても どらえもん1人作れない orz Saturday, October 19, 13
  39. 39. 私たちの脳に学ぶ Saturday, October 19, 13
  40. 40. 私たちの脳に学ぶ Saturday, October 19, 13
  41. 41. 私たちの脳に学ぶ 1.階層性 Saturday, October 19, 13
  42. 42. 私たちの脳に学ぶ 1.階層性 2.教師なし Saturday, October 19, 13
  43. 43. 私たちの脳に学ぶ 1.階層性 2.教師なし 3.汎用性 Saturday, October 19, 13
  44. 44. 階層性 Saturday, October 19, 13
  45. 45. 階層性 wikipedia Saturday, October 19, 13
  46. 46. 階層性 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  47. 47. 階層性 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  48. 48. 階層性 (Camel by Pablo Picasso) http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  49. 49. 階層性 (Camel by Pablo Picasso) http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  50. 50. 階層性 (Camel by Pablo Picasso) http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  51. 51. 階層性 (Camel by Pablo Picasso) 層 階 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  52. 52. 階層性 (Camel by Pablo Picasso) 層 階 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  53. 53. 階層性 (Camel by Pablo Picasso) 層 階 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  54. 54. 階層性 (Camel by Pablo Picasso) 層 階 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  55. 55. 階層性 (Camel by Pablo Picasso) 層 階 http://www.mathworks.com/matlabcentral/ fx_files/23253/4/gabor.png wikipedia Saturday, October 19, 13
  56. 56. 教師なし Saturday, October 19, 13
  57. 57. 教師なし Saturday, October 19, 13
  58. 58. 教師なし Saturday, October 19, 13
  59. 59. 教師なし Saturday, October 19, 13
  60. 60. 教師なし Saturday, October 19, 13
  61. 61. 区 別 で き る 教師なし Saturday, October 19, 13
  62. 62. 区 別 で き る 教師なし Saturday, October 19, 13
  63. 63. 区 別 で き る 教師なし Saturday, October 19, 13
  64. 64. 汎用性 Saturday, October 19, 13
  65. 65. 汎用性 音声 Saturday, October 19, 13
  66. 66. 汎用性 音声 Saturday, October 19, 13 視角
  67. 67. 汎用性 目からの情報を音声を 処理する部分につなぎ かえると? 音声 Saturday, October 19, 13 視角
  68. 68. 汎用性 目からの情報を音声を 処理する部分につなぎ かえると? 音声 Saturday, October 19, 13 視角 “目が見える様になる”
  69. 69. 汎用性 目からの情報を音声を 処理する部分につなぎ かえると? 音声 視角 “目が見える様になる” 脳の中のアルゴリズムは ただ一つ Saturday, October 19, 13
  70. 70. Deep Learning 深い階層(5−10段)のニューラ ルネットワーク 教師なし学習(例外あるけどw) アルゴリズムは実際沢山ある(笑) けど基本的な考えはほぼ同じ Saturday, October 19, 13
  71. 71. 具体的には? Saturday, October 19, 13
  72. 72. 具体的には? Saturday, October 19, 13
  73. 73. 具体的には? Saturday, October 19, 13
  74. 74. 具体的には? ニューロン Saturday, October 19, 13
  75. 75. 具体的には? ニューロン 神経細胞をまねた 計算素子 Saturday, October 19, 13
  76. 76. 具体的には? ニューロン 神経細胞をまねた 計算素子 Saturday, October 19, 13
  77. 77. 具体的には? ニューロン 神経細胞をまねた 計算素子 学習 Saturday, October 19, 13
  78. 78. 具体的には? ニューロン 神経細胞をまねた 計算素子 学習 データの 共通性を探す Saturday, October 19, 13
  79. 79. 具体的には? ニューロン 神経細胞をまねた 計算素子 学習 データの 共通性を探す Saturday, October 19, 13
  80. 80. 具体的には? ニューロン Deep Learning = Learning Hierarchical Representations YL MA Ra 神経細胞をまねた It's deep if it has more than one stage of non-linear feature transformation Low-Level Mid-Level Feature High-Level Feature Feature 計算素子 Trainable Classifier 学習 データの 共通性を探す Saturday, October 19, 13
  81. 81. 具体的には? ニューロン Deep Learning = Learning Hierarchical Representations YL MA Ra 神経細胞をまねた It's deep if it has more than one stage of non-linear feature transformation Low-Level Mid-Level Feature High-Level Feature Feature 計算素子 Trainable Classifier 学習 データの (from LeCun and Ranzato, ICML Tutorial ’13) Saturday, October 19, 13 共通性を探す
  82. 82. 具体的には? Deep Learning = Learning Hierarchical Representations Y LeCun MA Ranzato It's deep if it has more than one stage of non-linear feature transformation Low-Level Feature ニューロン Deep Learning = Learning Hierarchical Representations Mid-Level High-Level Trainable Feature Feature Classifier It's deep if it has more than one stage of non-linear feature transformation 神経細胞をまねた Low-Level Mid-Level Feature High-Level Feature Feature 計算素子 Trainable Classifier 学習 データの (from LeCun and Ranzato, ICML Tutorial ’13) 共通性を探す Feature visualization of convolutional net trained on ImageNet from [Zeiler & Fergus 2013] Saturday, October 19, 13 YL MA Ra
  83. 83. g = Learning Hierarchical Representations Y LeCun MA Ranzato 具体的には? s more than one stage of non-linear feature ow-Level Feature Deep Learning = Learning Hierarchical Representations Mid-Level High-Level Trainable Y LeCun MA Ranzato Feature Feature Classifier It's deep if it has more than one stage of non-linear feature transformation Low-Level Feature ニューロン Deep Learning = Learning Hierarchical Representations Mid-Level High-Level Trainable Feature Feature Classifier It's deep if it has more than one stage of non-linear feature transformation 神経細胞をまねた Low-Level Mid-Level Feature High-Level Feature Feature 計算素子 Trainable Classifier 学習 onvolutional net trained on ImageNet from [Zeiler & Fergus 2013] (from LeCun and Ranzato, ICML Tutorial ’13) データの 共通性を探す Feature visualization of convolutional net trained on ImageNet from [Zeiler & Fergus 2013] Saturday, October 19, 13 YL MA Ra
  84. 84. 例:画像認識 IMAGENET 画像データベース Our model ● ● 2012年のコンテストで Max-pooling layers follow first, second, and fifth convolutional layers Deep Learningを使った The number of neurons in each layer is given チームが快勝 by 253440, 186624, 64896, 64896, 43264, 4096, 4096, 1000 (Krizhevsky et al., 2012) Saturday, October 19, 13
  85. 85. 例:音声認識 英語ー中国語 Jelly Beanの音声認識 同時通訳 (MS) (by Google) http://news.xinhuanet.com/english/photo/2012-10/26/c_131931521.htm Saturday, October 19, 13
  86. 86. これからどうなる インターネット上の技術革新 キーワード検索、画像検索、 音声検索、自動翻訳 ロボット技術の発展 ハード、ソフト両面での 設計コスト(人件費)の削減 Saturday, October 19, 13
  87. 87. 参考 Bengio, 2012 ICML Tutorial LeCun and Ranzato, 2013 ICML Tutorial A Fast Learning Algorithm for Deep Belief Nets, Hinton et al., 2006 人工知能学会誌 連載解説 Deep Learning The Future of Robotics and AI, Ng, Youtube Saturday, October 19, 13
  88. 88. Keywords Unsupervised Feature Learning Semi-supervised Learning Deep Belief Nets Restricted Boltzmann Machines Deep Auto Encoders Deep Neural Networks Saturday, October 19, 13
  89. 89. http:/ /www.youtube.com/watch?v=Nu-nlQqFCKg Saturday, October 19, 13
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×