DLLAB Engineer Days: 推論環境としての Windows ML x ONNX の実際
•Download as PPTX, PDF•
4 likes•5,099 views
推論環境の作成を大幅に簡素化してくれる選択肢の一つとして、Windows ML は外せません。その Windows ML は ONNX 経由で連携する事になります。このセッションでは、End-To-Endで個別作成したモデルの ONNX 化。そして、その Windows ML アプリケーションへの組み込みを、既存のサンプルコードを題材にHackしていきます。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to DLLAB Engineer Days: 推論環境としての Windows ML x ONNX の実際
Similar to DLLAB Engineer Days: 推論環境としての Windows ML x ONNX の実際 (20)
More from Daiyu Hatakeyama
More from Daiyu Hatakeyama (20)
Recently uploaded
Recently uploaded (14)
DLLAB Engineer Days: 推論環境としての Windows ML x ONNX の実際
- 1. 推論環境としての Windows ML x ONNX の実際 畠山 大有 | Daiyu Hatakeyama | dahatake Architect && Software Engineer && Applied Data Scientist (目指している) Microsoft Japan
- 4. 場所 Cloud側 • 複数機器から集めたビッグ データへのAI適用（ニアリア ルタイム） • 業務データとの連携 • 膨大な計算量への対処 • ロングレンジの傾向への対応 • Edge側で動かすAIも含めた、 予測性能の継続的改善 Edge側 • 短時間応答性能 • 特定機器のみのデータへのAI 適用 • プライバシー（安心？） • 通信コスト （データ量・転送速度） • オフライン時の対応 • ハードウェア性能による制約
- 5. • Python ライブラリー管理 • パフォーマンス • モデルの複雑さ • プログラミング言語起因 • モデルのバージョンアップ • ソフトウェア視点で
- 7. • ONNX と ONNX Runtime で、3.5倍以 上 0 0.5 1 1.5 2 2.5 3 3.5 1 2
- 8. <Python> Modelの保存 出力された Model <C#>Model の読み込み <C#>Model の利用 (実行) ONNX
- 9. Windows Edge
- 10. Application #1 Application #2 WinML RT API WinML Win32 API WinML Runtime Model Inference Engine DirectML API CPUDirect3D GPU Input Surface Output Surface • ONNX のみ https://docs.microsoft.com/ja-jp/windows/ai/windows-ml/
- 11. • Python ライブラリー 管理 • パフォーマンス • モデルの複雑さ • プログラミング言語起因 • モデルのバージョン アップ • ソフトウェア視点で • 既存資産 • 大規模アプリは、Java or C# • 9億台の既存デバイス • MRやSurface Hub など産業にも • ミドルウェア不要 • OS に組み込み • 既存のソフトウェア展開 手段 への組み込み • Chipset の違い/有無の吸 収
- 14. ONNX Model Zoo
- 16. Convert Models to ONNX
- 17. Azure Machine Learning Services - AutoML https://docs.microsoft.com/ja-jp/azure/machine-learning/service/concept-automated-ml
- 23. if K.image_data_format() == 'channels_first’: x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols) x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols) input_shape = (1, img_rows, img_cols) else: x_train = x_train.reshape(x_train.shape[0], img_rows, img_cols, 1) x_test = x_test.reshape(x_test.shape[0], img_rows, img_cols, 1) input_shape = (img_rows, img_cols, 1) Keras with TensorFlow • Windows ML での`画像`の扱い https://docs.microsoft.com/ja-jp/windows/ai/windows-ml/bind-a-model
- 24. モデルの graph 構造確認 - 特に入力
- 26. Batch_size 設定 結果
- 30. • Windows ML ドキュメント • https://docs.microsoft.com/ja-jp/windows/ai/windows-ml/ • Windows ML ツール と サンプル • https://docs.microsoft.com/ja-jp/windows/ai/windows-ml/tools-and-samples • Azure Notebook (無料) • https://notebooks.azure.com/ • Azure Machine Learning services ドキュメント • https://docs.microsoft.com/ja-jp/azure/machine-learning/ • Azure Machine Learning services ONNX サンプル • https://aka.ms/onnxnotebooks
- 31. アンケートへのご協力お願いします。 http://bit.ly/2LLA2iY 推論環境としての Windows ML x ONNX の実際
- 32. • AI や 機械学習の最新の トレーニング • 概要・基礎・チュートリアル • 自分に適した、トレーニングコースの作成 • AI Business School • Conversational AI • AI Services • Machine Learning • Autonomous System • Responsible AI aischool.microsoft.com
- 33. Step-by-Step Learning Achievements スムーズな学習環境 無料 日本語対応 ブラウザーのみ。ハンズオ ン環境も含めて ダウンロード可能なサンプ ルコード Product/Service, 技術レベル, job role, などに応じたガイダ ンス Videos, チュートリアル, ハン ズオン スキルアップを促す ユーザー プロファイ ル毎に カスタマイズ www.microsoft.com/learn
- 34. © 2019 Microsoft Corporation. All rights reserved. 本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。
- 36. Extensible Extensible architecture to plug-in optimizers and hardware accelerators Flexible Supports full ONNX-ML spec (v1.2-1.5) C#, C, and Python APIs Cross Platform Works on -Mac, Windows, Linux -x86, x64, ARM Also built-in to Windows 10 natively (WinML) github.com/microsoft/onnxruntime
- 37. EDGE EFFICIENCY VPU/NPU CUSTOM Public Preview Generally Available Private Preview CLOUD 柔軟性 高い効果 CPUs GPUs GPUs FPGAs Execution Providers Generally Available Generally Available
Editor's Notes
- Microsoft Build 2017