Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

深層学習よもやま話

1,711 views

Published on

Deep Learning Labでお話したよもやま話です。

Published in: Technology
  • Be the first to comment

深層学習よもやま話

  1. 1. 深層学習よもやま話 ~DL的思考~ 3/23, 2018 Preferred Networks, 丸山 宏 DLL 勉強会
  2. 2.  普通のIT技術者から見ると – 「DLはなんか違うぞ」 – DL的思考って何?  今日のテーマ – データがあればDLができるのか? – DLをシステムに組み込むには? – ハイパーパラメターをどのように選ぶか? 2
  3. 3. 深層学習って何だったっけ?  関数(プログラム)の作り方 – 演繹でなくて帰納 – つまり、モデルフリー  モデルやアルゴリズムがわからなくても、訓練データセットさえあれ ば作れる – 教師信号の与え方次第で、驚くようなことが…  本質的に統計モデリング – 元分布が独立・同分布であることが前提 – 近似しかできない(バイアスが入ることを避けられない) 3
  4. 4. 1.データがあれば深層機械学習ができるのか? 人工知能 = ビッグデータ?? 「我が社にはビッグデータがあるので、これで人工知能を作って欲しい」 4 1. そのデータ、独立・同分布ですか? (バイアスはありませんか?) 2. 教師信号はありますか?
  5. 5. 5 統計的機械学習の本質的仮定 元分布 訓練データ 学習済みモデル 独立・同分布 (i.i.d.)
  6. 6. 別分布データを混ぜないで! 6
  7. 7. 教師信号の工夫  人手によるアノテーション  逆問題としての定式化  シミュレーションによるフィードバック 7
  8. 8. 8 教師信号の与え方:人手による正解アノテーション(1)
  9. 9. 音声によるロボットのコントロール 9 教師信号の与え方:人手による正解アノテーション(2)
  10. 10. Consumer Electronics Show (CES) 2016 CESにおける自動運転デモ 教師信号の与え方:強化学習によるフィードバック
  11. 11. 線画への自動着色アプリPaintsChainer 教師信号の与え方:逆問題として定式化
  12. 12. 深層学習のためのデータ設計  バイアスを補正できる情報を同時に記録する – 最初に同じ対象を観測する、など  教師信号(に代わるもの)を同時に設計する – アノテーション、逆問題、シミュレーション … – アイディア次第で驚くようなことが。。。 12
  13. 13. ITシステムの中に どのようにDLを組み込むか? 13
  14. 14. 14 モデルベース開発か、モデルフリー開発か? モデルベース開発 (演繹的) モデルフリー開発 (帰納的) • モデルがよく知られている • アルゴリズムが構成できる • 常に正確な解を必要とする • 教師信号がない • モデルが不明 • アルゴリズムが不明 • 近似解で構わない • 教師信号が得られる 適材適所
  15. 15. 確率的に出てきてしまう「あってはならない解」をどのよう に排除するか 15  ポリシー・モジュールで、不適切な解をフィルタする  DL出力(Rn空間の点)を、実行可能空間にマップする  実行可能空間を探索するプログラムのオラクルとしてDLを使う DLモジュール ポリシーモ ジュール 教師信号 DLモジュール 空 間 変 換 教師信号
  16. 16. 16 AlphaGoは木探索とDLの融合 Silver, David, et al. "Mastering the game of Go with deep neural networks and tree search." nature 529.7587 (2016): 484-489.
  17. 17. 17 実行可能解を、非決定的探索問題の解として定式化し、探索 オラクルとしてDLを使う 探索オラクル NP困難問題に対する新しいアーキテクチャ・パターン
  18. 18. ハイパーパラメターの与え方(丸山流)  ネットワーク構造 – まずは黙ってMLP! – 格子構造だったらCNN (Chainer CV) – 時系列だったらRNN – グラフ構造だったらGraph CNN (Chainer Chemistry)  サンプルコードのマジックナンバーは基本いじらない – バッチサイズ、学習率、…  学習曲線を見て、汎化誤差が大きくなりはじめたら止める 18
  19. 19. 例:指の振動から個人を特定(名工大田中先生の例) Hiroshi Maruyama19 これは誰の指か? 4,301次元の入力 0, 1, 2, …, 9 を判別 100サンプル✕10名の振動データ
  20. 20. Hiroshi Maruyama20 5,000ノード 10通り 4,301次元の入力 5,000ノード 4層、中間ノード5,000のパーセプトロンで学習 40秒ほどの学習で、45%くらいの精度
  21. 21. 終わりに:機械学習工学研究会シンポジウム (5/17) 21 ストリーミングのための予算が不足し ています。スポンサーお願いします!
  22. 22. 22 Thank You

×