Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Cvim saisentan-6-4-tomoaki
Similar to Cvim saisentan-6-4-tomoaki (20)
More from tomoaki0705
More from tomoaki0705 (20)
Cvim saisentan-6-4-tomoaki
- 1. Chapter 4. Deep Learning tomoaki_teshima コンピュタービジョン最先端ガイド6巻第4章 §1.1. … §2.1.
- 2. 全体の流れ • Deep Learning の紹介 • ILSVRCの衝撃 • その後の快進撃 • Deep Learning で達成したが、 Neural Networkではできなかったこと • NN冬の時代 • Neural Network(NN)の紹介 • 基本的な仕組み • 学習方法
- 3. Super Vision (Deep Learning) の逆襲 ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012) http://image-net.org/challenges/LSVRC/2012/results.html 0 0.05 0.1 0.15 0.2 0.25 0.3 Classification Error (5 guesses) 0 0.1 0.2 0.3 0.4 0.5 0.6 Localization Error (5 guesses)
- 4. Deep Learning の Debut 深イイ学習＝deep learningの話 http://togetter.com/li/387872
- 5. いきなりILSVRCでDebutした訳ではない Why does deep learning require the construction of generative data models? http://www.quora.com/Why-does-deep-learning-require-the-construction- of-generative-data-models 2010年5月 “2009年半ばぐらいからdeliciousのエントリーにDeep Learningの名前を良く 見るので気になっていた．” http://d.hatena.ne.jp/repose/20110112/1294837332 2011年1月12日 1940 1980 1990 2010 Deep learning 逆伝播法NN 冬の時代 Neocognitron(1982) CNN(1989) DBN(2006)
- 7. 特徴量職人の朝は早い 決定木職人の朝は早い。 (@sla) https://twitter.com/sla/status/166079710764335105 ヒューリスティック職人の朝は早い。(@tomerun) https://twitter.com/tomerun/status/192659930208141312 アノテーション職人の朝は早い (@shuyo) 中谷秀洋 Active Learning 入門 http://www.slideshare.net/shuyo/introduction-to-active- learning-25787487
- 8. @ambee_whisper, Twitter / ambee_whisper: @shock_pan_man ... https://twitter.com/ambee_whisper/status/256039859528019968
- 9. まだまだ熱いDeep Learning 得居誠也 (@ beam2d), Deep Learning技術の今 http://www.slideshare.net/beam2d/deep-learning20140130 2013年3月 2013年4月 2013年8月 2013年10月 2013年12月 2014年1月 2014年4月 :GoogleがDNN researchを買収 (G.Hinton ら) :Baidu が Institute of Deep Learning を 設立 :Yahoo が IQ Engines を 買収 :Yahoo が LookFlow を 買収 :Facebook が AI Lab を 設立(Y.LeCun) :Google が Deep Mind を 買収 :Google Street View が CAPTCHA を 解読
- 11. まだまだ熱いDeep Learning Institute of Deep Learning http://www.techinasia.com/baidu-opens-research-lab-california-deep-learning/ April 15, 2013
- 12. まだまだ熱いDeep Learning Yahoo IQ Engine http://techcrunch.com/2013/08/23/yahoo-acquires-image-recognition-startup-iq-engines/ August 23, 2013
- 14. まだまだ熱いDeep Learning Facebook AI Lab https://www.facebook.com/yann.lecun/posts/10151728212367143 December 10, 2013
- 15. まだまだ熱いDeep Learning Google DeepMind http://techcrunch.com/2014/01/26/google-deepmind/ January 26, 2014
- 18. 全体の流れ • Deep Learning の紹介 • ILSVRCの衝撃 • その後の快進撃 • Deep Learning で達成したが、 Neural Networkではできなかったこと • NN冬の時代 • Neural Network(NN)の紹介 • 基本的な仕組み • 学習方法
- 19. NN冬の時代 In 2000, it was even pointed out by the organizers of the Neural Information Processing System (NIPS) conference that the term “neural networks” in the submission title was negatively correlated with acceptance. In contrast, positive correlations were made with support vector machines (SVMs), Bayesian networks, and variational methods. [11] Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.10.5032
- 23. 全体の流れ • Deep Learning の紹介 • ILSVRCの衝撃 • その後の快進撃 • Deep Learning で達成したが、 Neural Networkではできなかったこと • NN冬の時代 • Neural Network(NN)の紹介 • 基本的な仕組み • 学習方法
- 24. NNってなんだろう？ A feedforward neural network is an artificial neural network where connections between the units do not form a directed cycle. This is different from recurrent neural networks. The feedforward neural network was the first and simplest type of artificial neural network devised. In this network, the information moves in only one direction, forward, from the input nodes, through the hidden nodes (if any) and to the output nodes. There are no cycles or loops in the network. http://en.wikipedia.org/wiki/Feedforward_neural_network
- 27. 活性化関数
- 28. 順伝播 • 画像や音声を入力すれば 対応する出力が決定する • 適切なパラメータ(w,b)を 設定することで、様々な 問題を表現できる • どうやってパラメータを 学習するのか？
- 30. 誤差逆伝播法 誤差に寄与する重みを小さくする 正答に寄与する重みを大きくする d(正解) p(計算結果) 1 0 0.24 0.76 𝜕𝐶 𝜕𝑤𝑖𝑗 = 𝑝𝑖 − 𝑑𝑖 ℎ𝑗 増やすのか減らすのか どのぐらい変化させるのか (9)
- 31. 出力層以外の重み係数の伝播法 この矢印は • 正答に寄与するの？ • 誤差に寄与するの？ d p 1 0 0.24 0.76 𝛿𝑖 = 𝑓′ 𝑥𝑖 𝑙 𝛿𝑙 𝑤𝑙𝑖 シグモイド関数の微分 上の層からのフィードバック (13)
- 32. 中間層の係数の更新 𝜕𝐶 𝜕𝑤𝑖𝑗 = 𝛿𝑖ℎ𝑗 𝛿1 3 𝛿2 3 d p 1 0 0.24 0.76 (14) 𝜕𝐶 𝜕𝑤𝑖𝑗 = 𝑓′ 𝑥𝑖 𝑙 𝛿𝑙 𝑤𝑙𝑖ℎ𝑗 上の層からのフィードバックの和をもとに 係数の増減を決定する
- 34. // backward pass, update weights for( i = l_count-1; i > 0; i-- ) { int n1 = layer_sizes->data.i[i-1], n2 = layer_sizes->data.i[i]; cvInitMatHeader( &_df, 1, n2, CV_64F, df[i] ); cvMul( grad1, &_df, grad1 ); cvInitMatHeader( &_w, n1+1, n2, CV_64F, weights[i] ); cvInitMatHeader( &_dw, n1+1, n2, CV_64F, dw->data.db + (weights[i] - weights[0]) ); cvInitMatHeader( x1, n1+1, 1, CV_64F, x[i-1] ); x[i-1][n1] = 1.; cvGEMM( x1, grad1, params.bp_dw_scale, &_dw, params.bp_moment_scale, &_dw ); cvAdd( &_w, &_dw, &_w ); if( i > 1 ) { grad2->cols = n1; _w.rows = n1; cvGEMM( grad1, &_w, 1, 0, 0, grad2, CV_GEMM_B_T ); } CV_SWAP( grad1, grad2, temp ); } OpenCV2.4.8 opencvsourcesmodulesmlsrcann_mlp.cpp calc_activ_func_deriv( x2, &_df, _w.data.db + _w.rows*_w.cols ); cvInitMatHeader( grad1, 1, ovcount, CV_64F, buf_ptr ); 微分を計算 (15)式のα(15)式のε
- 36. まとめ • NN(の多くは)は入力層、出力層、隠れ層の ３層からなり、それぞれの層をつなぐ経路の重みで 出力が決定する • 重みの学習には、Back Propagation（誤差逆伝播法） を使い、繰り返し係数を更新する • 中間層が３層以上になると、学習がうまくいかない ことが多い
- 37. 今日はDeep Learning の勉強会です！ •層が浅い •層を深くすると • 過学習がおきる • 誤差の伝播が分散して しまう •層が深い •Dropout •層の結合を疎にする •オートエンコーダを 用いる Neural Network Deep learning, CNN
- 39. 参考文献 ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012) http://www.image-net.org/challenges/LSVRC/2012/results.html 深イイ学習＝deep learningの話 http://togetter.com/li/387872 Why does deep learning require the construction of generative data models? – Quora http://www.quora.com/Why-does-deep-learning-require-the-construction-of-generative-data-models deep learningわからん & An Analysis of Single-Layer Networks in Unsupervised Feature Learning (NIPS2010)読んだメモ - 糞ネット弁慶 http://d.hatena.ne.jp/repose/20110112/1294837332 @sla, Twitter / sla: 決定木職人の朝は早い。「まず適度に育ったやつ探すんだ」職人の ... https://twitter.com/sla/status/166079710764335105 @tomerun, Twitter / tomerun: ヒューリスティック職人の朝は早い。日が昇る頃にはエディタを起 ... https://twitter.com/tomerun/status/192659930208141312 中谷秀洋, Active Learning 入門 http://www.slideshare.net/shuyo/introduction-to-active-learning-25787487 @ambee_whisper, Twitter / ambee_whisper: @shock_pan_man ... https://twitter.com/ambee_whisper/status/256039859528019968 得居誠也 (@ beam2d), Deep Learning技術の今 http://www.slideshare.net/beam2d/deep-learning20140130 U of T neural networks start-up acquired by Google | University of Toronto Media Room http://media.utoronto.ca/media-releases/u-of-t-neural-networks-start-up-acquired-by-google/ Steven Millward , Baidu Opens Lab in Silicon Valley Devoted to Research into ‘Deep Learning‘ http://www.techinasia.com/baidu-opens-research-lab-california-deep-learning/ Chris Velazco, Yahoo Acquires Image-Recognition Startup IQ Engines To Improve Flickr Photo Organization & Search | TechCrunch http://techcrunch.com/2013/08/23/yahoo-acquires-image-recognition-startup-iq-engines/ Yahoo Acquires Startup LookFlow To Work On Flickr And `Deep Learning’ | TechCrunch http://techcrunch.com/2013/10/23/yahoo-acquires-startup-lookflow-to-work-on-flickr-and-deep- learning/ Yann LeCun - Big news today! Facebook has created a new research... https://www.facebook.com/yann.lecun/posts/10151728212367143 Catherine Shu, Google Acquires Artificial Intelligence Startup DeepMind For More Than $500M | TechCrunch http://techcrunch.com/2014/01/26/google-deepmind/ Frederic Lardinois, Google MapsのStreet Viewの画像認識アルゴリズムがCAPTCHAのほとんどを解読 ? TechCrunch http://jp.techcrunch.com/2014/04/17/20140416googles-new-street-view-image-recognition-algorithm- can-beat-most-captchas/ Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.10.5032