知能型システム論（後半） 2014.7.23 システム科学専攻 M2 小山田 創哲
【小話】World Cup Prediction 決勝トーナメントの勝敗予測で 16試合中15試合的中！（3位決定戦だけ外す）
後半の流れ 前半ではDeep learningの基本的技法につい て学んだ（Pre-training, Dropout, ReLU） 後半ではこれらを踏まえた Deep learningの成果と応用（画像認識分野） について紹介する（Deep ...
Contents n 【序論】なぜ注目されているのか n 各種ベンチマークでトップレベルの性能 n 自動での特徴量抽出（画像認識） n IT企業の積極的な開発投資 n 【準備】Convolutional NN の解説 n 【本論】D...
なぜ注目されているのか 各種ベンチマークでトップレベルの識別性能 n 音声認識 n DNN-HMMを使った手法が従来手法を凌駕 n Pre-training n [Seide et al., 2011] n 画像認識 n 一般物体認...
自動での特徴量抽出 n 一般物体認識のコンテスト（2012）では単なる RGBデータを入力としたDNNで圧勝 n Kaggleでもいくつかのコンペにおいて，特徴 量抽出をほぼDNN任せで優勝 特徴量抽出 識別 Deep learning !...
IT企業の積極的な開発投資 n Deep learning関連会社の買収 n 研究者の抱え込み 1.  Google n DNN research, DeepMind買収 n Hinton 2.  Facebook n Faceboo...
CNN（Convolutional NN） 研究を紹介するための準備として，画像認 識分野で広く使われているCNNを解説する n [LeCun et al., 98] n パラメータの数を大幅に減らせるため，学 習しやすく，過学習もしにくい...
Local receptive field … … … … … h h+1 h h+1
Local receptive field h h + 1 W W’
Weight sharing h h + 1 W W’
Convolution
Feature maps L feature maps K feature maps
Subsampling Ex. Max pooling max
交互に重ねる Convolutional layerと，Subsampling layerは，交互に重ねられて使われる [LeCun et al., 98]
Deep learningの成果・応用 画像認識分野での研究を2つ紹介する 1. Facebook: DeepFace（2014） 2. Google: 猫認識（2013） 2つとも，機械学習界隈にとどまらず，広く 話題になった非常にインパクト...
Facebook: DeepFace
DeepFace n Facebook人工知能研究所の研究 n Task: Face recognition n 顔写真が同一人物かどうかを判定 n Methods: 3D-align + DNN 1.  3D-align （顔を正面向...
Method: 3D-align 【目的】顔を正面に向かせる． （メインはDeep learningなので詳しくは触れません）
Method: DNN n 基本的にはRGBを入力とした多層CNNだが， Face recognition用に工夫あり n FBが作った4.4百万枚の巨大データセットで教 師有り学習 n パラメータ数はおよそ1億2千万
Method: DNN n  最初は普通にC1, C3(Convolutional)とM2(Max pooling)を重ねている n  自然画像でいう線分のような位置不変な低次の特徴を捉 えるための層という位置付け Poolingは窓3*3...
Method: DNN n つづくL4, L5, L6はConvolutionしていない n 位置に依存する高次の特徴を学習するための層 という位置付け ※ただし，普通にConvolu3onした時との結 果比較はないので，効果は不明．
Method: DNN n 最後にFull接続．F7はパラメーター数膨大（全 体の95％）なのでここだけDropoutしてる n F8はソフトマックスレイヤー
Result AUCが人間並！
Google: 猫認識
猫認識 n GoogleとA.Ngの研究 n Method: n Deep autoencoderを大量の画像を学習 n パラメータ数は約10億（！） n Result: n Unsupervisedで学習しているのにもかかわ らず...
Dataset n YouTubeから取得した1000万枚のビデ オから一枚ずつ画像を取得（1000万枚) n ランダムに60*60のパッチを10万枚取得 して，顔画像検知器にかけると，顔が検出 されるパッチの割合は3%以下
Method: Architecture 次のlayerへ Local receptive field （但し，weight sharingはしていない） L2-pooling Local contrast normalization （局所的...
Method: Autoencoder n Autoencoderで学習 n 但し，学習結果がスパースになるように， Reconstruction errorに正則化項をい れる
Result: 顔選択性 n 各ニューロンの活性に閾値をもうけ，テス ト用データのサンプルが顔画像か否かを識 別 n 最も識別率の高いニューロン（81.7%） の活性のヒストグラム
Result 猫でも同じ傾向の結果が得られる DNNが，猫を猫と教えられることなく， 猫を認識するニューロンを創りだした
まとめ n Deep learning（DNN）は，over- fittingやpoor-fittingを避けるための 様々な工夫や，計算機の発展により大量 のデータを扱えるようになったことで， 画像認識をはじめ様々な分野でブレイクス ルー実...
参考文献 引用論文 n  Seide, Frank, Gang Li, and Dong Yu. "Conversational Speech Transcription Using Context-Dependent Deep Neural...
Upcoming SlideShare
Loading in …5
×

知能型システム論（後半）

1,241 views

Published on

知能型システム論の講義資料（2014.07.23）
最終講義の後半を，TAとしてDeep learningの成果・応用と題して本スライドで発表
（前半は別のTAによるDeep learningの基本的手法についての解説）

Published in: Data & Analytics
0 Comments
2 Likes
Statistics
Notes
no profile picture user

  • Be the first to comment

No Downloads
Views
Total views
1,241
On SlideShare
0
From Embeds
0
Number of Embeds
25
Actions
Shares
0
Downloads
9
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

知能型システム論（後半）

  1. 1. 知能型システム論（後半） 2014.7.23 システム科学専攻 M2 小山田 創哲
  2. 2. 【小話】World Cup Prediction 決勝トーナメントの勝敗予測で 16試合中15試合的中！（3位決定戦だけ外す）
  3. 3. 後半の流れ 前半ではDeep learningの基本的技法につい て学んだ（Pre-training, Dropout, ReLU） 後半ではこれらを踏まえた Deep learningの成果と応用（画像認識分野） について紹介する（Deep learningが何故注 目されているのか．多層NNを学習出来るよう になった結果，どんなことが出来るようになっ たのか）
  4. 4. Contents n 【序論】なぜ注目されているのか n 各種ベンチマークでトップレベルの性能 n 自動での特徴量抽出（画像認識） n IT企業の積極的な開発投資 n 【準備】Convolutional NN の解説 n 【本論】Deep learningの成果・応用 n Facebook: DeepFace（2014） n Google: 猫認識（2013）
  5. 5. なぜ注目されているのか 各種ベンチマークでトップレベルの識別性能 n 音声認識 n DNN-HMMを使った手法が従来手法を凌駕 n Pre-training n [Seide et al., 2011] n 画像認識 n 一般物体認識のコンテストで圧勝 n Dropout, ReLU n [Krizhevsky et al., 2012] n Kaggle（機械学習コンペ） n 各種コンペで優勝（特徴量設計もDNN任せ） n 化合物の活性予測 n 求人情報を用いた仕事の給料予測
  6. 6. 自動での特徴量抽出 n 一般物体認識のコンテスト（2012）では単なる RGBデータを入力としたDNNで圧勝 n Kaggleでもいくつかのコンペにおいて，特徴 量抽出をほぼDNN任せで優勝 特徴量抽出 識別 Deep learning !!!!! SVM, LR, etc.SIFT, HOG, etc.
  7. 7. IT企業の積極的な開発投資 n Deep learning関連会社の買収 n 研究者の抱え込み 1.  Google n DNN research, DeepMind買収 n Hinton 2.  Facebook n Facebook AI Research設立 n LeCun 3.  Yahoo n IQ Engines, LookFlow買収 4.  Baidu n Ng
  8. 8. CNN（Convolutional NN） 研究を紹介するための準備として，画像認 識分野で広く使われているCNNを解説する n [LeCun et al., 98] n パラメータの数を大幅に減らせるため，学 習しやすく，過学習もしにくい n 位置に依らない特徴を学習するのに有効 である n Convolutional layerとSubsampling layerを交互に重ねる
  9. 9. Local receptive field … … … … … h h+1 h h+1
  10. 10. Local receptive field h h + 1 W W’
  11. 11. Weight sharing h h + 1 W W’
  12. 12. Convolution
  13. 13. Feature maps L feature maps K feature maps
  14. 14. Subsampling Ex. Max pooling max
  15. 15. 交互に重ねる Convolutional layerと，Subsampling layerは，交互に重ねられて使われる [LeCun et al., 98]
  16. 16. Deep learningの成果・応用 画像認識分野での研究を2つ紹介する 1. Facebook: DeepFace（2014） 2. Google: 猫認識（2013） 2つとも，機械学習界隈にとどまらず，広く 話題になった非常にインパクトのある研究
  17. 17. Facebook: DeepFace
  18. 18. DeepFace n Facebook人工知能研究所の研究 n Task: Face recognition n 顔写真が同一人物かどうかを判定 n Methods: 3D-align + DNN 1.  3D-align （顔を正面向かせる） 2.  多層CNNで学習（多少特別に工夫有り） n Results: 人と変わらない識別性能
  19. 19. Method: 3D-align 【目的】顔を正面に向かせる． （メインはDeep learningなので詳しくは触れません）
  20. 20. Method: DNN n 基本的にはRGBを入力とした多層CNNだが， Face recognition用に工夫あり n FBが作った4.4百万枚の巨大データセットで教 師有り学習 n パラメータ数はおよそ1億2千万
  21. 21. Method: DNN n  最初は普通にC1, C3(Convolutional)とM2(Max pooling)を重ねている n  自然画像でいう線分のような位置不変な低次の特徴を捉 えるための層という位置付け Poolingは窓3*3のslide2 窓11*11 窓9*9
  22. 22. Method: DNN n つづくL4, L5, L6はConvolutionしていない n 位置に依存する高次の特徴を学習するための層 という位置付け ※ただし，普通にConvolu3onした時との結 果比較はないので，効果は不明．
  23. 23. Method: DNN n 最後にFull接続．F7はパラメーター数膨大（全 体の95％）なのでここだけDropoutしてる n F8はソフトマックスレイヤー
  24. 24. Result AUCが人間並！
  25. 25. Google: 猫認識
  26. 26. 猫認識 n GoogleとA.Ngの研究 n Method: n Deep autoencoderを大量の画像を学習 n パラメータ数は約10億（！） n Result: n Unsupervisedで学習しているのにもかかわ らず，人の顔を検出できるニューロンを確認 n 人の顔でなく，猫でも同じ結果を確認
  27. 27. Dataset n YouTubeから取得した1000万枚のビデ オから一枚ずつ画像を取得（1000万枚) n ランダムに60*60のパッチを10万枚取得 して，顔画像検知器にかけると，顔が検出 されるパッチの割合は3%以下
  28. 28. Method: Architecture 次のlayerへ Local receptive field （但し，weight sharingはしていない） L2-pooling Local contrast normalization （局所的に活性を正規化） これを3層重ねる
  29. 29. Method: Autoencoder n Autoencoderで学習 n 但し，学習結果がスパースになるように， Reconstruction errorに正則化項をい れる
  30. 30. Result: 顔選択性 n 各ニューロンの活性に閾値をもうけ，テス ト用データのサンプルが顔画像か否かを識 別 n 最も識別率の高いニューロン（81.7%） の活性のヒストグラム
  31. 31. Result 猫でも同じ傾向の結果が得られる DNNが，猫を猫と教えられることなく， 猫を認識するニューロンを創りだした
  32. 32. まとめ n Deep learning（DNN）は，over- fittingやpoor-fittingを避けるための 様々な工夫や，計算機の発展により大量 のデータを扱えるようになったことで， 画像認識をはじめ様々な分野でブレイクス ルー実現した n IT企業も積極的に開発投資しており，現 在も非常に活発に研究が行われている
  33. 33. 参考文献 引用論文 n  Seide, Frank, Gang Li, and Dong Yu. "Conversational Speech Transcription Using Context-Dependent Deep Neural Networks." Interspeech. 2011. n  Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012. n  LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324. n  Wolf, Lior. "DeepFace: Closing the Gap to Human-Level Performance in Face Verification.” n  Le, Quoc V. "Building high-level features using large scale unsupervised learning." Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on. IEEE, 2013. その他参考にした資料 n  http://deeplearning.net/tutorial/ （CNNの解説） n  http://www.slideshare.net/beam2d/deep-learning20140130（DNN流行の背景） n  http://d.hatena.ne.jp/repose/20130508/1368020782（KaggleでのDNN）

×