[Cloud OnAir] 機械学習はこうやる！準備と実際のプロセスをお見せします。 (LIVE) 2018年5月24日 放送
•
4 likes•5,950 views
Google Cloud Platform (GCP) では機械学習のプロジェクトを支援する様々なツールを提供しています。今回は、機械学習のプロジェクトのプロセス（計画・構築・運用）を概説し、特に構築（機械学習モデルの構築や訓練）に焦点をあてて説明します。GCP の各種ツールを、機械学習プロジェクトのどのような場面で活用するべきかを理解することができます。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to [Cloud OnAir] 機械学習はこうやる！準備と実際のプロセスをお見せします。 (LIVE) 2018年5月24日 放送
Similar to [Cloud OnAir] 機械学習はこうやる！準備と実際のプロセスをお見せします。 (LIVE) 2018年5月24日 放送 (20)
More from Google Cloud Platform - Japan
More from Google Cloud Platform - Japan (20)
Recently uploaded
Recently uploaded (9)
[Cloud OnAir] 機械学習はこうやる！準備と実際のプロセスをお見せします。 (LIVE) 2018年5月24日 放送
- 1. Cloud Onr Cloud OnAir Cloud OnAir 機械学習はこうやる！ 準備と実際のプロセスをお見せします 2018 年 5 月 24 日 放送
- 4. Cloud OnAir この分類を自動化するルールを記述できますか？ CC-BY-SA 2.0 Wikimedia Commons https://commons.wikimedia.org/wiki/File:Apple_in_lightbox.png
- 5. Cloud OnAir この分類を自動化するルールを記述できますか？ CC-BY-SA 2.0 Wikimedia Commons https://commons.wikimedia.org/wiki/File:Apple_in_lightbox.png
- 6. Cloud OnAir この分類を自動化するルールを記述できますか？ CC-BY-SA 2.0 Wikimedia Commons https://commons.wikimedia.org/wiki/File:Apple_in_lightbox.png
- 9. Cloud OnAir 機械学習プロジェクトの成功に必要な 3 つのステップ システム要件の定義 機械学習モデルの構築 機械学習モデルの運用 機械学習プロジェクト というと この部分のみがフォーカスされがち 機械学習プロジェクト を成功させるた めにはこれらのプロセスを正しく行う 必要がある
- 15. Cloud OnAir 問題解決に適した機械学習ツールやモデルを選ぶ 機械学習フレームワーク 機械学習ツールを選ぶ順序（簡単に使えるものから） Cloud AutoMLalphaMachine Learning API 学習済みモデルを使う （すぐに使い始められる） カスタムモデルを使う （モデル設計〜最適化を自動化） カスタムモデルを使う （モデル設計や最適化は自前）
- 18. Cloud OnAir 機械学習モデルのデプロイ条件を決定する 手順 具体例 1. 最適化基準の決定 ※１つに絞ることが重要 正解率 (Accuracy), 適合率 (Precision), RMSE, ... 2. 満足化基準の決定 ※１つに絞る必要はない モデルサイズ, 平均推論時間, ... 3. デプロイ条件の決定 正解率 > 0.95 AND 平均推論時間 < 100ms
- 19. Cloud OnAir 機械学習モデル 正解率 モデルサイズ (MB) 予測時間 (msec) A 0.94 140 400 B 0.96 160 500 C 0.97 180 600 D 0.999 210 800 最適化基準: 正解率 (>=0.95) 満足化基準: モデルサイズ (< 200MB) AND 予測時間 (< 700msec) 問題: どの機械学習モデルをデプロイすればよいでしょうか
- 20. Cloud OnAir 機械学習モデル 正解率 モデルサイズ (MB) 予測時間 (msec) A 0.94 140 400 B 0.96 160 500 C 0.97 180 600 D 0.999 210 800 問題: どの機械学習モデルをデプロイすればよいでしょうか 事前にデプロイ条件を決めておくことで デプロイするモデルを速やかに選べます 最適化基準: 正解率 (>=0.95) 満足化基準: モデルサイズ (< 200MB) AND 予測時間 (< 700msec)
- 24. Cloud OnAir データ収集・ラベル付けで使えるツール: Cloud Storage GCP のビッグデータ製品と連携できる GCP の機械学習製品と連携できる 構造化データも非構造化データも保存できる カスタムメタデータを使いラベルを付与できる データ容量を心配する必要がない ファイルの直接編集には向かない 数値データ 画像データ テキストデータ 音声データ gsutil GCS に保存できる構造化データ・非構造化データの例
- 26. Cloud OnAir データの前処理で行うことの一例 処理内容 具体例 適用条件 データの分割 データを Train / Dev / Test に分割 機械学習全般 データの加工 画像のサイズを変更する 画像を扱う機械学習 単語 (文章) を分散表現に変換する テキストを扱う機械学習 数値を正規化 (Normalize) する 数値データを扱う機械学習 データの書き出し 書き出し先のディレクトリ名の調整 後工程で学習データを 切り替えたい場合 データ形式の変換 TFRecord 形式に変換する 後工程で TensorFlow を用いた 機械学習モデルを構築する場合
- 27. Cloud OnAir データの前処理にオススメのツール: Dataflow フルマネージド＆オートスケール 実装できる前処理の自由度が高い 非構造化データも扱うことができる TensorFlow との親和性が高い データ処理内容をプログラミング言語を用いて 記述する必要がある (Python / Java) 対話的にデータを操作できないため、データの 欠損値や異常値を見つけるのに手間がかかる ・・・ Dataflow未加工データ 前処理後のデータ
- 28. Cloud OnAir データの前処理にオススメのツール: Dataprep ・・・ フルマネージド＆オートスケール 実行できる前処理の自由度が高い 非構造化データは扱うことができない Dataflow に比べ TensorFlow との親和性が低い データ処理内容を GUI で簡単に指定できる 対話的にデータを操作できるため、データの 欠損値や異常値を見つけるのに向いている ・・・ Dataprep未加工データ 前処理後のデータ
- 30. Cloud OnAir 機械学習モデルの実装にオススメのツール: TensorFlow Google のプロダクト開発で幅広く使われている オープンソースコミュニティが非常に活発 主要なプラットフォームで動作する Google Cloud Platform との親和性が高い 機械学習に対する知識とプログラミング能力が必要 CPU GPU TPU Mobile TensorFlow前処理後のデータ 訓練済みの 機械学習モデル
- 32. Cloud OnAir モデル最適化にオススメのツール: Cloud ML Engine Cloud ML Engine 分散トレーニングにより最適化時間を短縮 リソース競合を気にせず使うことができる 課金対象は最適化に利用した計算資源のみ 効率的なハイパーパラメータチューニング 機械学習モデルのデプロイが簡単にできる 機械学習に対する知識とプログラミング能力が必要 前処理後のデータ 機械学習モデル TensorFlow
- 34. Cloud OnAir モデルの性能評価パイプラインを構築して結果を可視化する 詳しくは次週の Cloud OnAir で Data Studio を使った可視化例 モデルのバージョン 評価条件 最適化基準 満足化基準 評価条件毎の最適化基準 を示したグラフ
- 38. Cloud OnAir 機械学習モデルのデプロイにオススメのツール 比較ポイント Cloud ML Engine Google Kubernetes Engine モデルのデプロイ 1 コマンドで簡単にデプロイ可能 (XGBoost, scikit-learn も利用可) 自前で実現する必要があるため、 システム構築・運用コストが高い ※ Kubeflow を使うとラクはできる モデルのオートスケール デプロイオプションで指定可能 モデルのバージョン管理 デプロイオプションで設定可能 モデルのアクセスコントロール gcloud コマンドで RBAC を設定可能 GPU の利用可否 (Online) 利用できない 利用できる
- 40. Cloud OnAir 性能監視の目的: モデルの更新タイミングを把握する デプロイ条件 (e.g. 90%) モデル更新 (e.g. 92%) Apr May Jun Jul Aug 最適化基準 評価対象データのバージョン (取得期間) ポイント ● 実運用環境におけるデータ収集（とラベル付け）を継続的に行うこと ● 機械学習モデルの更新作業に取り掛かる条件を予め定義しておくこと
- 41. Cloud OnAir Data Studio を活用して継続的な性能監視を実施しよう 詳しくは次週の Cloud OnAir で Data Studio を使った可視化例（再） モデルのバージョン 評価条件 最適化基準 満足化基準 評価条件毎の最適化基準 を示したグラフ
- 44. Cloud OnAir 機械学習プロジェクトの成功に必要な 3 つのステップ システム要件の定義 機械学習モデルの構築 機械学習モデルの運用 機械学習プロジェクト というと この部分のみがフォーカスされがち 機械学習プロジェクト を成功させるた めにはこれらのプロセスを正しく行う 必要がある
- 48. Cloud OnAir 機械学習プロジェクトの成功に必要な 3 つのステップ システム要件の定義 機械学習モデルの構築 機械学習モデルの運用 機械学習プロジェクト というと この部分のみがフォーカスされがち 機械学習プロジェクト を成功させるた めにはこれらのプロセスを正しく行う 必要がある プロジェクト 成功の秘訣 GCP で効率化 できる部分
- 49. Cloud OnAir 次週: 機械学習モデルの性能評価パイプラインをつくる 詳しくは次週の Cloud OnAir で Data Studio を使った可視化例 モデルのバージョン 評価条件 最適化基準 満足化基準 評価条件毎の最適化基準 を示したグラフ