数式がわからなくたってDeep Learningやってみたい！人集合- dots. DeepLearning部 発足！
•Download as PPTX, PDF•
4 likes•2,171 views
数式がわからなくたってDeep Learningやってみたい！人集合- dots. DeepLearning部 発足！ のオープニングとクロージング資料
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to 数式がわからなくたってDeep Learningやってみたい！人集合- dots. DeepLearning部 発足！
Similar to 数式がわからなくたってDeep Learningやってみたい！人集合- dots. DeepLearning部 発足！ (20)
数式がわからなくたってDeep Learningやってみたい！人集合- dots. DeepLearning部 発足！
- 1. dots.DeepLearning #01 # dotsdl 2016/12/21 dots.DeepLearning#01
- 2. 自己紹介 • 名前 • 舛岡英人(@hidetomasuoka) • 略歴 • 産業能率大学 経営情報学部 卒業 • 株式会社ソピア（現アクセンチュア）入社 • 中小企業向けERPのスクラッチ開発を提案からサポートまですべてを担当 • 株式会社Preferred Infrastructure 入社 • 各製品の提案からサポートまですべてを担当 • 株式会社Intimate Merger に出向 • 株式会社 レトリバ創業メンバー
- 3. 自己紹介 • 名前 • 舛岡英人(@hidetomasuoka) • 略歴 • 産業能率大学 経営情報学部 卒業 • 株式会社ソピア（現アクセンチュア）入社 • 中小企業向けERPのスクラッチ開発を提案からサポートまですべてを担当 • 株式会社Preferred Infrastructure 入社 • 各製品の提案からサポートまですべてを担当 • 株式会社Intimate Merger に出向 • 株式会社 レトリバ創業メンバー ほぼほぼ文系！
- 4. 自己紹介 • 社外活動 • PyConJP 2016 スタッフ • 招待講演担当 • Chainer OSS活動 • communityイベントのリード
- 5. コミュニティを立ち上げた背景 • Chainer Meetupを4回運営してきて、様々な人が参加してくれ た。 • が、全員を満足できる勉強会を運営することができなかった
- 6. なぜみんな満足できないのか？ • 参加者の前提知識がばらばら • 前提知識を定義することが難しい • Deep Learningを知ってるとは？ • Deep Learningの事例を話すとデータ依存だったりするので、 ふんわりした話になる • フレームワークの話ではなくDeep Learningの話しかしてない • もっとディープな話がしたいが、だれができるかわからない
- 7. 対象を大きく分けることにした • Chainer Meetup • Chainerを使ってる人 • 自分でネットワークを書いたり 実験を回すことができる人 • 数式がでてきてもコワくない人 • dots.DeepLearning部 • Deep Learningをこれから勉強 する人 • 数式が多少わからなくてもOK • フレームワークの縛りは無し
- 8. dots.DeepLearning部 • Deep Learningでできること、できないことをみんなでシェア する場 • Deep Learningの知識を自信持って他の人に話せるように勉強 する場 • 自分の目的にあったフレームワークやネットワーク例を選べる ようになること
- 10. 実際…
- 11. 数式が理解できなくてもDeep Learningが できるのか • （ある程度は)できます！ • 自分でネットワークを書いたり、チューニングをする段階では 絶対に必要 • まず、数式を理解するのではなく、Deep Learningに触れなが ら必要な数式を理解する
- 12. ディープラーニングブームの背景
- 13. 機械学習の典型的なプロセス 13 (0, 1, 2.5, -1, …) (1, 0.5, -2, 3, …) (0, 1, 1.5, 2, …) 特徴ベクトル グラフィカルモデル 分類/回帰 SVM/LogReg/PA CW/ALOW/Naïve Bayes/CNB/DT RF/ANN… クラスタリング K-means/Spectral Clustering/MMC/L SI/LDA/GM… 構造分析 HMM/MRF/CRF… 分野に依存しない 抽象化データ 様々な手法 理論を適用 機械 学習 文書 画像 センサー 行動履歴 様々な様式の 生データ 特徴 抽出
- 14. 文章からの特徴抽出 • 例：固有名詞を取り出してニュース記事の特徴とする 14 ２０２０年の東京五輪・パラリンピックの主会 場となる新国立競技場をめぐり、安倍晋三首相 は、総工費が２５２０億円に膨らんだ建設計画 を見直す考えを１７日に表明する方向で最終調 整に入った。競技場を１９年のラグビーワール ドカップ（Ｗ杯）の主会場にする計画は断念す る。同日、東京五輪・パラリンピック組織委員 会会長の森喜朗元首相と会談し、計画見直しへ の協力を求める方針だ。 ２０２０年の東京五輪・パラリンピックの主会 場となる新国立競技場をめぐり、安倍晋三首相 は、総工費が２５２０億円に膨らんだ建設計画 を見直す考えを１７日に表明する方向で最終調 整に入った。競技場を１９年のラグビーワール ドカップ（Ｗ杯）の主会場にする計画は断念す る。同日、東京五輪・パラリンピック組織委員 会会長の森喜朗元首相と会談し、計画見直しへ の協力を求める方針だ。 単語 頻度 東京五輪 2 パラリンピック 2 新国立競技場 1 安倍晋三 1 ・・・ ・・・ 機械学習アルゴリズム 文章からの固有名詞の抽出は固有表現抽出 （Named Entity Recognition; NER）という
- 15. 画像からの特徴抽出 • 例：Histogram of Gradient (HoG特徴量) http://www.vlfeat.org/overview/hog.html 機械学習 アルゴリズム 各ピクセルでの勾配を小ブロック（セル） 単位でまとめてヒストグラム化 各セルでのヒストグラムを（正 規化して）すべてまとめる
- 16. 精度をあげるのが職人技 • 精度をあげるためには特徴抽出が重要 • 特徴抽出は難しい • タスクごとに最適な特徴抽出方法は異なる • 機械学習コンテストは最後は特徴抽出のチューニング勝負 • これまで様々な特徴抽出方法が研究されてきた • 自然言語：n-gram/BoW 画像：SIFT/SURF/HOG/PHOW/BoVW • その他にも様々なヒューリスティックが存在 • 精度をあげるにはデータに合わせたチューニングが必要
- 17. 17 2012年画像認識コンテストで Deep Learningを用いたチームが優勝 → ILSVRC2012 優勝チームSupervisonの結果 [Krizhevsky+ ‘12] 衝撃的な出来事 • 限界と思われた認識エラーを4割も減らした (26%→16%) • 特徴抽出を行わず、生の画素をNNに与えた 翌年の同コンテストの上位チームは ほぼDeep Learningベースの手法
- 18. Neural Netブーム • 様々なコンペティションでDLが既存手法を凌駕 • 16%(‘12) → 11%(‘13) → 6.6%(’14) → 4.8%('15) → 2.9%('16) • 各企業がDL研究者の獲得競争 • Google/FaceBook/Microsoft/Baidu • 実サービスもDLベースに置き換えられる • Siri/Google画像検索 GoogLeNetのアーキテクチャ↓ http://research.google.com/archive/un supervised_icml2012.html Google Brainによる猫認識↑ [Le, Ng, Jeffrey+ ’12]
- 20. ニューラルネットワークが利用された タスク データ 画像 タスク カテゴリ 分類 顔検出 生成 ゲームAI シーン認識 動画 画像+ 自然言語 音声+動画 カテゴリ 分類 動作認識 キャプ ション生成 表現学習 音声認識 自然言語 音声 化合物 表現学習 翻訳 質問応答 会話検出 QSAR (活性予測) 応用分野 音声検索 画像キュレーション eコマース 自動運転 ロボティックス 医療画像 マーケティング
- 21. ディープラーニング導入
- 23. Forward Propagation（順伝播） • 入力層（グレー）に値を与え、 順方向に計算を進める • Forward計算の過程で損失 (Loss)とエラーを計算する • 通常エラーは計算グラフの最後 のユニット（緑）での値を指す • 計算グラフの途中の値をエラー に加えても良い • Lossは各ユニットの値や各レ イヤーのパラメータの関数に なっている Forward
- 24. Backward Propagation（誤差逆伝播） • 計算グラフの末端のユニット （緑）にエラーを与え、逆方 向に計算を進める • Backwardの過程で各パラ メータについてのエラーを計 算する Backward
- 26. 実際は
- 27. ディープラーニングの応用例 Deep Q Network*（深層学習で強化学習） * Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning." Nature 518.7540 (2015): 529-533. ** CaffeでDeep Q-Networkを実装して深層強化学習してみた http://d.hatena.ne.jp/muupan/20141021/1413850461 *** PFIインターン2014 最終発表 http://www.ustream.tv/recorded/53153399 27
- 28. ディープラーニングの応用例 画像生成 • 文字を”描く“ニューラルネット • 入力と同じ「雰囲気」の数字が 出力されている。同じ数字でも、 最左画像と生成画像は異なる事 に注意 入力 生成結果 Kingma, Diederik P., et al. "Semi-supervised learning with deep generative models." Advances in Neural Information Processing Systems. 2014. の実験を弊社で再現 • 絵を”描く“ニューラルネット http://soumith.ch/eyescream/
- 29. 典型的なNeural Network （多層パーセプトロン） x1 xN ・・・・・・ h1 hH ・・・・ k M k1 y M y1 f1 f2 f3 W2/b2 W1/b1 tM t1 損失関数で評価 正解ラベル入力 Forward Backward 出力 ・・ ・・ ・・ 学習すべきパラメータ • W1:1層目のパラメータ行列 • b1:1層目のバイアス項 • W2:2層目のパラメータ行列 • b2:2層目のバイアス項 Forward更新式 • h = f1(x) = Sigmoid(W1x+b1) • k = f2(h) = Sigmoid(W2h+b2) • y = f3(k) = SoftMax(k) f3i(k) = exp(ki)/Σ_{j} exp(kj)
- 31. minibatch j 訓練の流れ Epoch 1 Epoch N Epoch 2 Epoch i Epoch i 全訓練データを シャッフル minibatch 1 Forward minibatch 2 パラメータ更新 時刻 • Epoch (Iteration)：全訓練データを1巡する事 → 各訓練データはNetにN回与える • Solver：Netを訓練するモジュール • minibatch：少数の訓練データをまとめたもの 31 パラメータ更新 minibatch j Backward
- 34. フレームワーク戦争 • 各研究機関･企業がDeep Learningのフレームワークを作成して、 オープンソフトウェアとして公開している。 • まだまだ、試行錯誤を続けないといけない分野なので、オープ ンソフトウェアとして公開をして、ソフトウェアとしてのス ピードを高めている。
- 35. フレームワーク • https://www.tensorflow.org/ • http://chainer.org/ • http://caffe.berkeleyvision.org/ • http://torch.ch/ • http://mxnet.io/ • http://www.paddlepaddle.org/ • https://www.microsoft.com/en- us/research/product/cognitive-toolkit/ • https://developer.nvidia.com/digits
- 37. まとめ • 部活動立ち上げの背景 • ディープラーニングブームの背景 • ディープラーニングの概要
- 39. ディープラーニングを 学ぶことができるサイト • Chainer • http://docs.chainer.org/en/stable/tutorial/index.html • https://github.com/hido/chainer-handson • NVIDIA • https://nvidia.qwiklab.com/tags/Deep%20Learning • Google • https://www.tensorflow.org/versions/r0.11/tutorials/index.html
- 41. AWS等でDeep Learning使う場合 • NVIDIAが提供するAMIで学習することをおすすめします！ • CUDAのインストールではまります…
- 43. AWS等でDeep Learning使う場合 • またNVIDA Dockerを使う • https://github.com/NVIDIA/nvidia-docker
- 44. 今後の勉強会 • ハンズオン形式と発表形式の2パターンで行うことを考えてい ます。 • ハンズオン • 各フレームワークのチュートリアルをみんなでやってみる • 発表形式 • ハンズオンなどで得た知見を発表する場
Editor's Notes
- 2013/3 GoogleがUniv of TrontoのDNN researchを買収 2013/4 Baiduがinstitute of Deep Learningを設立 2013/8 YahooがIQ Enginesを買収 2013/10 YahooがLookFlowを買収 2013/12 FacebookがAI Labを設立 2014/1 GoogleがDeep Mindを買収 2014/10 DeepMind がUKのDarkBlue、Vision Factoryを買収、Oxfordと連携 http://image-net.org/challenges/LSVRC/2014/slides/GoogLeNet.pptx http://static.googleusercontent.com/media/research.google.com/ja//archive/unsupervised_icml2012.pdf http://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html http://googlepolicyeurope.blogspot.be/2014/10/teaming-up-with-oxford-university-on.html
- https://github.com/muupan/caffe/tree/dqn https://www.youtube.com/watch?v=p88R2_3yWPA