Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[Cloud OnAir] AutoML Vision で学ぶ 「実践的」機械学習 2018年11月29日 放送

2,661 views

Published on

みなさんは、分類アルゴリズムにおける「Precision」や「Recall」と言った用語を説明できますか? 機械学習のモデルを評価するには、これらの概念を正しく理解して使いこなす必要があります。AutoML Vision で自動作成した機械学習モデルを用いて、分類モデルの評価方法についてわかりやすく解説していきます。AutoML Vision の使いかたももちろんわかりますよ!

Published in: Technology
  • Be the first to comment

[Cloud OnAir] AutoML Vision で学ぶ 「実践的」機械学習 2018年11月29日 放送

  1. 1. Cloud Onr Cloud OnAir Cloud OnAir AutoML Vision で学ぶ 「実践的」機械学習 2018 年 11 月 29 日 放送
  2. 2. 写真を配置後 角丸六角形くり抜きの図形を 被せてください https://goo.gl/NcsiAz Speaker Cloud OnAir Solutions Architect, Google Cloud 中井 悦司 / Etsuji Nakai
  3. 3. Agenda Cloud OnAir 1 3 2 4 機械学習サービスの分類 AutoML Vision を使ってみよう AutoML Vision で学ぶ PR 曲線 本日のまとめ
  4. 4. Cloud OnAir Cloud OnAir 機械学習サービスの分類
  5. 5. Cloud OnAir 機械学習サービスの分類 Cloud Machine Learning Engine Cloud Vision API Cloud Translation API Cloud Natural Language API Cloud Speech API 独自モデル TensorFlow 学習済みモデル
  6. 6. Cloud OnAir 機械学習サービスの分類 Cloud Machine Learning Engine Cloud Vision API Cloud Translation API Cloud Natural Language API Cloud Speech API 独自モデル 自動モデル構築 Cloud AutoML Handbag Shoe Hat TensorFlow 学習済みモデル
  7. 7. Cloud OnAir Cloud AutoML Vision (ベータリリース) ハンドバッグ 靴 帽子 Cloud AutoML トレーニングされたカスタムモデルを使ってすぐに予測を開始できます。 このモデルはお客様のニーズに合わせて自動的にスケールします。 画像アップロード/ ラベル付け カスタムモデルの トレーニング カスタムモデルの 性能評価
  8. 8. Cloud OnAir Cloud OnAir AutoML Vision を使ってみよう
  9. 9. Cloud OnAir AutoML Vision のデモをお楽しみください
  10. 10. Cloud OnAir Cloud OnAir AutoML Vision で学ぶ PR 曲線
  11. 11. Cloud OnAir ニューラルネットワークのおさらい Input ニューラルネットワークの本質は 「入力データから予測値を出力する関数」 “cat”
  12. 12. Cloud OnAir 「教師あり学習」の仕組み label, input 正解ラベルのついた「トレーニングデータ」 に対して、予測の正解率が向上するように 関数に含まれるパラメータをチューニング “cat” “dog” “car” “apple” OUTPUT
  13. 13. Cloud OnAir ニューラルネットワークの出力は「確率値」
  14. 14. Cloud OnAir 判定の「しきい値」はどうやって決めればよい? 故障確率 35%
  15. 15. Cloud OnAir 「正解率」で評価すると・・・ 10,000 台の中で故障しているのは 10 台 とりあえず、すべてに対して 「故障していない」 と判定すると・・・
  16. 16. Cloud OnAir 「正解率」で評価すると・・・ 10,000 台の中で故障しているのは 10 台 正解率 99.9% 意味ないじゃん…
  17. 17. Cloud OnAir Precision と Recall を用いた評価   予測 正解 異常 正常 異常 6 4 正常 14 9,976 Confusion Matrix
  18. 18. Cloud OnAir Precision と Recall を用いた評価   予測 正解 異常 正常 異常 6 4 正常 14 9,976 Recall = 60% 本当に異常なもの中で、 正しく異常を発見できた割合 Confusion Matrix
  19. 19. Cloud OnAir Precision と Recall を用いた評価   予測 正解 異常 正常 異常 6 4 正常 14 9,976 Recall = 60% 本当に異常なもの中で、 正しく異常を発見できた割合   予測 正解 異常 正常 異常 6 4 正常 14 9,976 Precision = 30% 異常と判断したものの中で 本当に異常だったものの割合
  20. 20. Cloud OnAir Precision と Recall は目的が違う Recall = 60% 本当に異常なもの中で、 正しく異常を発見できた割合 Precision = 30% 異常と判断したものの中で 本当に異常だったものの割合 例:顧客満足度の向上 例:生産効率の向上
  21. 21. Cloud OnAir Precision と Recall はトレードオフ Recall = 60% 本当に異常なもの中で、 正しく異常を発見できた割合 Precision = 30% 異常と判断したものの中で 本当に異常だったものの割合 判定のしきい値を下げると Recall は上がる 判定のしきい値を上げると Precision は上がる トレードオフ
  22. 22. Cloud OnAir PR曲線でトレードオフのバランスを把握 これが「PR曲線」
  23. 23. Cloud OnAir AutoML Vision で PR 曲線を確認してみましょう
  24. 24. Cloud OnAir PR 曲線によるモデルの性能評価 性能の高いモデルほど 右上にグラフが張り出す
  25. 25. Cloud OnAir Cloud OnAir 本日のまとめ
  26. 26. Cloud OnAir 本日のまとめ ● AutoML:ラベル付きデータからモデルを自動学習 ○ 複数のモデルを管理可能 ○ 学習済みモデルを自動で API サービス化 ● Confusion Matrix と PR 曲線で学習後のモデルを評価 ○ モデルの利用用途に応じた判定しきい値の検討に活用 ○ 最後の判断は、ビジネスゴールに応じた決定が必要!
  27. 27. Cloud OnAir 練習問題 https://www.kaggle.com/c/dogs-vs-cats/
  28. 28. Cloud OnAir Cloud OnAir Thank you!
  29. 29. Cloud OnAir Cloud OnAir Backup Slides
  30. 30. Cloud OnAir ディープラーニングが実用化された要因 ● 学習アルゴリズムの研究 ○ 膨大な数のパラメータを効率的に最適化する手法 ● 学習データの蓄積 ○ 膨大な数のパラメータを最適化するのに十分なデータ量 ● 計算リソース ○ 並列計算技術、GPUを用いた計算技術の発展
  31. 31. Cloud OnAir 学習済みモデルのAPIサービス Cloud Vision API Cloud Translation API Cloud Natural Language API Cloud Speech to Text API Cloud Video Intelligence API Cloud Text to Speech API 画像/動画系サービス 音声系サービス 自然言語系サービス

×