Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20171024 DLLab#04_PFN_Hiroshi Maruyama

4,440 views

Published on

Deep Learning Lab #04
PFN session material

Published in: Technology
  • Be the first to comment

20171024 DLLab#04_PFN_Hiroshi Maruyama

  1. 1. ディープラーニング よもやま話 10/24, 2017 Preferred Networks, 丸山 宏 Deep Learning Lab
  2. 2. 2 AlphaGo Zero:事前知識無しでの学習 3時間後 – 人間の初心者と同様、多くの石を取ることに執着 https://deepmind.com/blog/alphago-zero-learning-scratch/
  3. 3. 3 19時間後 – 石の死活、厚み、地などの概念を習得 https://deepmind.com/blog/alphago-zero-learning-scratch/
  4. 4. 4 70時間後 – 人間を凌駕 https://deepmind.com/blog/alphago-zero-learning-scratch/
  5. 5. 5 AlphaGo Zero:40日の学習 https://deepmind.com/blog/alphago-zero-learning-scratch/
  6. 6. 音声によるロボットのコントロール 6 https://www.youtube.com/watch?v=_Uyv1XIUqhk&feature=youtu.be&a=
  7. 7. 7 https://www.youtube.com/watch?v=QwInbilXNOE
  8. 8. 8 1,024基のP100を搭載したスーパー・コンピュータを稼働 https://www.preferred-networks.jp/ja/news/pr20170920
  9. 9. 9 Chainer V3 / Cupy V2をリリース  (ほとんどのユーザーにとって)後方互換!  高階微分が可能に — Wasserstein距離を使ったWGAN-GPなどの実装  処理の高速化 — スパース行列のサポート — GPUメモリ管理の効率化  “seq2seq”サンプル: 12GB  3GB
  10. 10. Assessment PoC Pilot Deployment Maintenance • お客様の理解 度 • ビジネス目標 • 機械学習への 適合度 • データの入手 可能性 : • データの量・ 品質は足りて いるか • 期待する精度 が達成できそ うか : • ビジネスプロ セスへの組み 込みはうまく いったか • ビジネス目標 は達成できた か : CP1 CP2 CP3 CP4 • 性能の監視 • データ・ドリフト の監視 : 機械学習工学: 典型的なシステム構築サイクル より探索的
  11. 11. 11 機械学習工学の課題 1. 再利用 2. 品質の担保 3. 要求の厳密化
  12. 12. 12 Neural Network Exchange Format 訓練 https://www.khronos.org/nnef
  13. 13. ONNX message ModelProto { optional int64 ir_version = 1; : optional GraphProto graph = 7; }; message GraphProto { repeated NodeProto node = 1; optional string name = 2; repeated TensorProto initializer = 5; optional string doc_string = 10; repeated ValueInfoProto input = 11; repeated ValueInfoProto output = 12; repeated ValueInfoProto value_info = 13; } message TensorProto { repeated int64 dims = 1; optional DataType data_type = 2; optional Segment segment = 3; repeated float float_data = 4 [packed = true]; : optional string name = 8; } message NodeProto { repeated string input = 1; repeated string output = 2; optional string name = 3; optional string op_type = 4; repeated AttributeProto attribute = 5; optional string doc_string = 6; } Node Tensor Tensor https://github.com/onnx/onnx
  14. 14. 14 機械学習工学の課題 1. 再利用 2. 品質の担保 3. 要求の厳密化
  15. 15. 機械学習システムは、高金利クレジット! • CACE (Changing Anything Changes Everything) 原理 – すべてが絡み合っ ている • グルーコード、試験的なコード片な ど、すべてが将来のメインテナスの 悪夢につながる • … https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43146.pdf
  16. 16. 新しいタイプの脆弱性 16 https://arxiv.org/pdf/1707.08945.pdf
  17. 17. 品質指標 – 多くの場合プロセス品質指標 http://www.ipa.go.jp/files/000028859.pdf How “safe” is this car? … is translated into process metrics 例: どのくらいレビュー に時間を割いたか?
  18. 18. 第3者による客観的な品質指標の可能性 How “safe” is this car? 非公開の評価用データ 自動化された、第3者による評価 評価 評価結果のみ を返す
  19. 19. 19 機械学習工学の課題 1. 再利用 2. 品質の担保 3. 要求の厳密化
  20. 20. 20 強化学習において、衝突のペナルティを無限大にすると? 動かないクルマ 効用と安全性のバランスを定量的に要件として書き出す必要!
  21. 21. 21 IJCAIにおける自律性に関する議論  Keynote by Stuart Russell, “Provably Beneficial AI” — 人:「コーヒーをとってきて」 — ロボット: スタバへ行き、列に並んでいる他の客を殺してコーヒーを とってくる — 人の指示は常に不完全 どちらも、最適化問題における「正しい仕様のあり方」の問題を提起
  22. 22. 22 11/8 機械学習Xソフトウェア工学 Meetup 1/18-19 情報処理学会 ソフトウェア工学研究 会ウィンターワーク ショップ
  23. 23. 23 Thank You

×