Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

GCPUG Tokushima ” 30分でわかる ” GCPを使った 機械学習システムの構築

724 views

Published on

2019/02/17(日)
「GCPUG徳島」で発表した「機械学習」セッションのスライドです。

Published in: Internet
  • Be the first to comment

GCPUG Tokushima ” 30分でわかる ” GCPを使った 機械学習システムの構築

  1. 1. Copyright(C) 2019 GCPUG All Rights Reserved 2019.02.17(Sun) “ 30分でわかる ” GCPを使った 機械学習システムの構築 GCPUG Tokushima #4 #gcpug #gcpja
  2. 2. Copyright(C) 2019 GCPUG All Rights Reserved 2 氏名:Yuya Ohara VØLT(@VØLT3103) 会社:株式会社ビヨンド 職種:プリセールスエンジニア ● 経歴 ① 光回線・OA機器などの営業 ② ホスティングサービスのプリセールス ③ MSP・クラウドインテグレーター ● GCP / AWS / Alibaba など 色んなクラウド構築・運用 ● GCPUG Osaka のコミュニティ運営・オーガナイザー https://gcpug-osaka.connpass.com 自己紹介
  3. 3. Copyright(C) 2019 GCPUG All Rights Reserved 3 徳島にもオフィスできます! ● 2019/03/01(Fri)四国(徳島)オフィス開設! 〒 778-0002 徳島県三好市池田町マチ2475(旧政海旅館内)
  4. 4. Copyright(C) 2019 GCPUG All Rights Reserved 4 関西エリア の GCPUG ● Osaka 2015年5月開設 ● Kobe 2018年5月開設 ● Shiga 2018年6月開設 ● Nara 2018年7月開設 ● Wakayama 2018年8月開設 ● Kyoto 2018年4月開設
  5. 5. Copyright(C) 2019 GCPUG All Rights Reserved 5 オーガナイザー・メンバー募集中! ● GCPUG Kyoto https://gcpug-kyoto.connpass.com ● GCPUG Wakayama https://gcpug-wakayama.connpass.com
  6. 6. Copyright(C) 2019 GCPUG All Rights Reserved 6 GCPUG の新支部(スピンオフ支部) ● GCPUG for Business https://gcpug-business.connpass.com ● コンセプト “ GCPUG for Business ”は、 いつもの『GCPUG』から派生した ディレクター・マーケティング・情シス などの ポジションの方々を対象とした、 『ビジネスパーソン向けの GCPUG』です。 「GCP や GCPUG(ジーシーパグ) に興味はあるけど、 エンジニアじゃ無いので少し敷居が高い・・・」 というような方々にも参加していただけるような、 ライト で フラット なコミュニティを目指します!
  7. 7. Copyright(C) 2019 GCPUG All Rights Reserved 7 本日のセッション GCPを使った 機械学習システム 構築の一式を説明する
  8. 8. Copyright(C) 2019 GCPUG All Rights Reserved 8 機械学習で出来ること ● 画像解析 ・画像(静止画)の解析 ・画像のラベル付け ・不適切な画像の検出 ・製品ロゴの検出 ・地名検出 ・OCR(テキスト抽出) ・顔検知 ・Web上の類似画像検索 ● 動画解析 ・動画のラベル付け ・シーン変化検知 ・撮影場所検知 ● テキスト解析 ・文章解析 ・テキストの感情分析 ・テキストの文法構造解析 ・単語のカテゴリー解析 ・メール分別 ・数値計算 ・メール自動返信文作成 ● 音声解析 ・音声のテキスト化 ・音声の自動応答 ● 翻訳解析 ・テキストの言語翻訳
  9. 9. Copyright(C) 2019 GCPUG All Rights Reserved 9 機械学習の全体像 情報ソース データ蓄積 データ分析 ビッグ データ 社内外情報 / IoT 人 / AI 外部の端末情報を 収集し蓄積 外部の端末情報を 収集し蓄積 ビッグデータ情報 の精度を上げる ビッグデータ情報の 精度を上げる
  10. 10. Copyright(C) 2019 GCPUG All Rights Reserved 10 機械学習の全体像 情報ソース データ蓄積 データ分析SNS (Facebook / Twitterなど) ニュース記事 Webサイト・ブログ コールセンター 顧客マスター 取引履歴 など 社内データ クローラーによる 自動収集 データの クレンジング(精査) 定型/否定形 データのDB化 分析エンジン 一定件数の抽出 キーワード分析 リアルタイム検知 社外データ 問題の発見 商品 / サービスの強化 新商品 / 新サービス開発のヒント マーケティング活用 サポート内容の充実 分析結果の活用 工場のセンシングデバイス 監視カメラ 位置情報 など IoTデータ
  11. 11. Copyright(C) 2019 GCPUG All Rights Reserved 11 機械学習の全体像 ● 機械学習を使ったシステムは 単に学習・推論をおこなうモデルだけがあれば いいというわけではない。 ● データを取得したり、 そのデータ・モデルの管理をおこなう構成が必要。 バージョン 管理 データ 取得 データ 蓄積 データ 学習 モデル 推論 評価 データ 分析 特徴 抽出 ロギング
  12. 12. Copyright(C) 2019 GCPUG All Rights Reserved 12 ● パスを1個にまとめておくと構成がシンプルになる ● 不具合時には双方を同時に修正ができる ● モデルとの不整合が起きにくい 機械学習の全体像 データ 収集 データ 蓄積 データ 整形 学習 データ 整理 モデル 推論 データ 整理 学習済 モデル
  13. 13. Copyright(C) 2019 GCPUG All Rights Reserved 13 ● 期待したとおりの予測(PoC 概念実証)ができるか ● 機械学習でユーザーに 良質な価値(精度の高いデータ)を提供できるか ● データ取得して蓄積、解析・特徴を抽出する構成の設計 ● モデルのデプロイ・バージョンを管理する構成 ● モデルへ入力するデータの形式は 「学習時」「推論時」と同一にしておく ● サーバーレスと相性が良い 機械学習の構築・設計のポイント
  14. 14. Copyright(C) 2019 GCPUG All Rights Reserved 14 そこでGCPの出番!
  15. 15. Copyright(C) 2019 GCPUG All Rights Reserved 15 GCPで機械学習するとき データフローの 要素 GCPプロダクト プロダクトの用途 データ収集 Cloud IoT Core Cloud Pub/Sub Cloud Function App Engine センシング メッセージング コンピューティング コンピューティング データ蓄積 BigQuery Cloud Datastore DWH(データ解析) NoSQL DB データ整形・整理 Cloud Dataflow データ処理 データ学習・推論 ML Engine 機械学習
  16. 16. Copyright(C) 2019 GCPUG All Rights Reserved 16 機械学習の構成 データ 収集 データ 蓄積 データ 整理 モデル Cloud Function Big Query Cloud Dataflow ML Cloud Engine Cloud Storage デバイス など マイクロ サービス 構築 クエリ 実行 データ 処理 学習・推論 実行環境
  17. 17. Copyright(C) 2019 GCPUG All Rights Reserved 17 ・一機能の実現に適した(FaaS) ・マイクロサービスの構築 ・APIを利用する時のユーザー認証 ・httpで応答するバックエンドサービス ・IoT デバイスからのデータ取り込み ・Cloud Storageへの ファイルアップロードをトリガーとした ファイル処理 ・ファイルアップロード時の フォーマット変換 Cloud Faction の主な特徴・用途 Cloud Function
  18. 18. Copyright(C) 2019 GCPUG All Rights Reserved 18 ● データが バッチ(定期)or リアルタイム(不定期) に クラウドへ送信されるかどうか ◇ IoTデバイスから取得する場合 ・工場オートメーションでのセンシングデバイス ・コンシューマのスマートデバイス ・データ取得がバッチ(定期)での処理 ◇ アプリケーションから取得する場合 ・Webサービスなどの送信元多数からのデータ取得 ・送信タイミングが不定期、データサイズが様々 ・リアルタイム(不定期)での処理 データ収集・蓄積 Cloud Function 向き GAE 向き
  19. 19. Copyright(C) 2019 GCPUG All Rights Reserved 19 ・ビッグデータ解析用のDWH ・ペタバイト級のデータを数分で フルスキャン ・機械学習用の学習、推論データの 取得、保存、解析、フィードバック ・アクセス権限、データ階層の概念 BigQuery の主な特徴・用途 BigQuery BigQueryのデータ階層とアクセス権限イメージ データセット B プロジェクト A テーブル C テーブルセット D ユーザーX ユーザーY プロジェクトAの権限が 全データセットへ継承 データセットDのみの権限 テーブル E
  20. 20. Copyright(C) 2019 GCPUG All Rights Reserved 20 データの整理・処理 SQL(BigQuery)での欠損値を埋めるイメージ ● データの整理とは前処理 ・データ欠損を埋める ・データを整形する ● SQL(BigQuery)による前処理 ・学習に使えるデータのみを抽出 ・インデックスを必要としない高速クエリ A B C A B C
  21. 21. Copyright(C) 2019 GCPUG All Rights Reserved 21 ・パイプライン処理、分岐 ・ETL(データ抽出を変換する工程) ・複数のデータソースから データをマージ ・データフォーマットを変えて 複数の出力先に出力 ・イレギュラーな値が来た時に、 別の専用の処理へ分岐させたり Cloud Dataflow の主な特徴・用途 Cloud Dataflow 分岐を持ったパイプラインのイメージ データ 抽出 処理 A 処理 B データ マージ データ 出力
  22. 22. Copyright(C) 2019 GCPUG All Rights Reserved 22 ・TensorFlow モデル学習、推論を マネージドな環境で実行できるサービス ・TensorFlow で記述した 独自モデルの学習 ・学習済みモデルのAPIサービス化 ※ TensorFlow は Google謹製 ML Cloud Engine の主な特徴・用途 ML Cloud Engine
  23. 23. Copyright(C) 2019 GCPUG All Rights Reserved 23 ● 前処理の作業をするときは、 BIツールの Dataprep がオススメ ・もちろん GUI ・コーディング不要 ・欠損値、重複データを自動検知 ※ データ前処理のツール ※ Data Prep https://cloud.google.com/dataprep/?hl=ja
  24. 24. Copyright(C) 2019 GCPUG All Rights Reserved 24 ● 機械学習は様々なサービスの集合体 ● サーバーレス環境だけで機械学習の環境を構築できる ● ほとんどマネージドで構築可能 ● GCPならプロダクトの組み合わせは自在 ● GCPの機械学習は精度は高いと感じられる まとめ

×