Download as PDF, PPTX
![訓練済みモデルフォーマットの標準化(2): ONNX
message ModelProto {
optional int64 ir_version = 1;
:
optional GraphProto graph = 7;
};
message GraphProto {
repeated NodeProto node = 1;
optional string name = 2;
repeated TensorProto initializer = 5;
optional string doc_string = 10;
repeated ValueInfoProto input = 11;
repeated ValueInfoProto output = 12;
repeated ValueInfoProto value_info = 13;
}
message TensorProto {
repeated int64 dims = 1;
optional DataType data_type = 2;
optional Segment segment = 3;
repeated float float_data = 4 [packed = true];
:
optional string name = 8;
}
message NodeProto {
repeated string input = 1;
repeated string output = 2;
optional string name = 3;
optional string op_type = 4;
repeated AttributeProto attribute = 5;
optional string doc_string = 6;
}
Node
Tensor
Tensor](https://image.slidesharecdn.com/20180305ppldistpfnhiroshimaruyama-180306024023/75/20180305_ppl2018_-35-2048.jpg)
Uploaded byPreferred Networks
20180305_ppl2018_演繹から帰納へ～新しいシステム開発パラダイム～
PFNの丸山宏がソフトウェア科学会 第20回プログラミングおよびプログラミング言語ワークショップ(PPL2018) で行った招待講演「演繹から帰納へ～新しいシステム開発パラダイム～」のスライドです。
More Related Content
![SSII2022 [OS3-02] Federated Learningの基礎と応用](https://cdn.slidesharecdn.com/ss_thumbnails/ssii2022-os3-02-220607020834-2b5f93ff-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...](https://cdn.slidesharecdn.com/ss_thumbnails/20180914iwasawa-180919025635-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]`強化学習のための状態表現学習 －より良い「世界モデル」の獲得に向けて－](https://cdn.slidesharecdn.com/ss_thumbnails/20181026staterepresenration-181127055206-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]大規模分散強化学習の難しい問題設定への適用](https://cdn.slidesharecdn.com/ss_thumbnails/drlapplication-180921001838-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]DropBlock: A regularization method for convolutional networks](https://cdn.slidesharecdn.com/ss_thumbnails/dlyokota20190222-190222002832-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to 20180305_ppl2018_演繹から帰納へ～新しいシステム開発パラダイム～
![[DL輪読会]Flow-based Deep Generative Models](https://cdn.slidesharecdn.com/ss_thumbnails/20190307-190328024744-thumbnail.jpg?width=640&height=640&fit=bounds)
20180305_ppl2018_演繹から帰納へ～新しいシステム開発パラダイム～
- 1. 演繹から帰納へ ～新しいシステム開発パラダイム～ 3/5, 2018 Preferred Networks,丸山 宏 PPL2018招待講演
- 2. 自己紹介: 1983 東京工業大学修士課程修了 –（米澤明憲先生の下で）論理型言語、自然言語処理 1983-2009 日本IBM東京基礎研究所 – 形式言語理論、構文解析、全文検索、手書き文字認識 – 分散処理（XML、Webサービス） – セキュリティ いわゆるコン ピュータサイ エンス 統計・ 機械学習 2011-2016 統計数理研究所 — 統計モデリング、ビッグデータ解析 2016年4月: 株式会社Preferred Networks — 深層学習
- 3. 人工知能とは「CSを進化させる営み」 1956-1974 第1次人工知能ブーム • 記号処理(LISP) • Means-End Analysis • 自然言語処理 1980-1987 第2次人工知能ブーム • 知識表現 (e.g. フレーム) • エキスパートシステム • オントロジー 2008 第3次人工知能ブーム • 統計的機械学習・深層学習 - 動的メモリ管理 - 探索アルゴリズム - 形式言語理論 - ： - オブジェクト指向 - モデリング言語 - セマンティックWeb - ： 帰納的システム開発 (機械学習工学) 「人工知能」技術はコアのCSへ コンピュータサ イエンティスト から見ると
- 4.
- 5. 深層学習とは何か – (状態を持たない*)関数 Y= f(X)X Y 超多次元、（連 続変数・カテゴ リ変数の任意の 組み合わせ） 判別・制御なら ば比較的低次元、 生成ならば超多 次元 *推論時にパラメタ更新を行うオンライン学習についてはこの限りでない
- 6. 普通の関数の作り方: 例 摂氏から華氏への変換 doublec2f(double c) { return 1.8*c + 32.0; } 入力: C 出力: F ただし、FはCを華氏で表したもの 仕様 アルゴリズム F = 1.8 * C + 32モデル 人が持つ 先験的知識 モデルが既知／アルゴリズムが構成可能である必要
- 7.
- 8.
- 9.
- 10.
- 11. 汎用計算機構としての深層学習 桁違いに多いパラメタ – 任意の多次元非線形関数を近似可能* 疑似的にチューリング完全！ 出力（超多次元） 入力（超多次元） * G. Cybenko. Approximations by superpositions of sigmoidal functions. Mathematics of Control, Signals, and Systems, 2(4):303–314, 1989.
- 12. 訓練はどのように動くか (Facebook YannLeCunによる動画) https://code.facebook.com/pages/1902086376686983
- 13.
- 14. ロボットビジョン： Amazon Picking Challenge2016 2nd Place in the Picking Task モデルが不明：人手による正解アノテーション(2)
- 15.
- 16. Consumer Electronics Show(CES) 2016 CESにおける自動運転デモ アルゴリズムが不明：逆問題として定式化(1)
- 17.
- 18.
- 19.
- 20.
- 21.
- 22. 深層学習とは何か（まとめ） 関数（プログラム）の作り方 – 演繹でなくて帰納 モデルやアルゴリズムがわからなくても、訓練データセットがあれば 作れる – 教師信号の与え方次第で、驚くようなことが… 本質的に統計モデリング – 元分布が独立・同分布であることが前提 – 近似しかできない（バイアスが入ることを避けられない）
- 23.
- 24.
- 25. 訓練誤差と汎化誤差 未学習領域 • モデルの複雑 さが 足りない 過学習領域 •モデルを簡単化する • 汎化テクニックを使う • 訓練データを増やす Daniel Beckstein, “Practical Methodology”, Chapter 11 of Goodfellow, I., Bengio, Y., Courville, A., Deep Learning, MIT Press, 2016. 汎化誤差 訓練誤差
- 26. Assessment PoC PilotDeployment Maintenance • お客様の理解度 • ビジネス目標 • 機械学習への適 合度 • データの入手可 能性 ： • データの量・ 品質は足りて いるか • 期待する精度 が達成できそ うか ： • ビジネスプロセ スへの組み込み はうまくいった か • ビジネス目標は 達成できたか ： CP1 CP2 CP3 CP4 • 性能の監視 • データ・ドリ フトの監視 ： 典型的なシステム構築サイクル より探索的
- 27. 課題(1)品質: 機械学習システムは、高金利クレジット！ • CACE(Changing Anything Changes Everything) 原理 – すべてが絡み合っている https://static.googleusercontent.com/media/rese arch.google.com/en//pubs/archive/43146.pdf • どのArtifactも推論の精度に影響を与える。 しかし、個別に正しさを保証することは困難
- 28.
- 29. 確率的なシステムに対する社会受容？ Wall Street Journal,7/7, 2016 http://jp.wsj.com/articles/SB11860788629023424577004582173882125060236 テスラの事故 ただし… V字開発をすれば100%安全なのか？ 出典：Wikipedia
- 30.
- 31. 品質指標 – 多くの場合プロセス品質指標 http://www.ipa.go.jp/files/000028859.pdf この車の安全性は？ 例：どのくらいレビュー に時間を割いたか？
- 32.
- 33. 課題(2)再利用：訓練済みモデルの再利用パターン 同タスク 新タスク 同タスク 2. Fine Tuning Whitebox再利用 1. Copy : 4. Distillation Black box再利用 同タスク 3. Ensemble 元モデルをそのまま使う NNの一部あるいは全部を再利用、 新たな訓練データを加えて、似た 領域の異なるタスクに利用する 元モデルを教師として、新 たなモデルを訓練する 複数の元モデルの出力を組 み合わせて精度を向上させ る
- 34.
- 35. 訓練済みモデルフォーマットの標準化(2): ONNX message ModelProto{ optional int64 ir_version = 1; : optional GraphProto graph = 7; }; message GraphProto { repeated NodeProto node = 1; optional string name = 2; repeated TensorProto initializer = 5; optional string doc_string = 10; repeated ValueInfoProto input = 11; repeated ValueInfoProto output = 12; repeated ValueInfoProto value_info = 13; } message TensorProto { repeated int64 dims = 1; optional DataType data_type = 2; optional Segment segment = 3; repeated float float_data = 4 [packed = true]; : optional string name = 8; } message NodeProto { repeated string input = 1; repeated string output = 2; optional string name = 3; optional string op_type = 4; repeated AttributeProto attribute = 5; optional string doc_string = 6; } Node Tensor Tensor
- 36. 課題(3)アーキテクチャ・パターン： モデルベース開発か、モデルフリー開発か？ モデルベース開発 （演繹的） モデルフリー開発 （帰納的） • モデルがよく知られている • モデルを明快に書き下せる •モデルと現実世界のギャッ プが小さい • モデルは時間とともに（あ まり）変化しない • 教師信号がない • モデルが不明 • モデルを書き下せない • モデルと現実世界の ギャップが大きい • モデルは時間とともに大 きく変化する • 教師信号が得られる 適材適所
- 37.
- 38. AlphaGoは離散的な木探索とDLの融合 Silver, David, etal. "Mastering the game of Go with deep neural networks and tree search." nature 529.7587 (2016): 484-489.
- 39.
- 40. 課題(4): PPLコミュニティの方に考えていただきたいこと 1. 多次元の“Shape” を対象とした型システム 2. 機械学習システムの訓練速度、推論精度、推論速度、モニタリングなど クロスカッティング・コンサーンを表現できるプログラミング
- 41.
- 42.
- 43.
- 44.
- 45. “Programming by Optimization”の考え方 パラメト リックな ソース Weaving ドメイン依存 の入力分布 最適化ツール Hoos, Holger H. "Programming by optimization." Communications of the ACM 55.2 (2012): 70-80. ドメイン依存のパフォーマンスをクロ スカッティングコンサーンとしたアス ペクト指向？？
- 46.
- 47.
- 48.
- 49.
- 50.