GCPUG Tokushima ” 30分でわかる ” GCPを使った機械学習システムの構築

2. Copyright(C) 2019 GCPUG All Rights Reserved 2 氏名：Yuya Ohara VØLT（@VØLT3103）会社：株式会社ビヨンド職種：プリセールスエンジニア ● 経歴 ① 光回線・OA機器などの営業 ② ホスティングサービスのプリセールス ③ MSP・クラウドインテグレーター ● GCP / AWS / Alibaba など色んなクラウド構築・運用 ● GCPUG Osaka のコミュニティ運営・オーガナイザー https://gcpug-osaka.connpass.com 自己紹介

6. Copyright(C) 2019 GCPUG All Rights Reserved 6 GCPUG の新支部（スピンオフ支部） ● GCPUG for Business https://gcpug-business.connpass.com ● コンセプト “ GCPUG for Business ”は、いつもの『GCPUG』から派生したディレクター・マーケティング・情シスなどのポジションの方々を対象とした、『ビジネスパーソン向けの GCPUG』です。「GCP や GCPUG（ジーシーパグ）に興味はあるけど、エンジニアじゃ無いので少し敷居が高い・・・」というような方々にも参加していただけるような、ライトでフラットなコミュニティを目指します！

8. Copyright(C) 2019 GCPUG All Rights Reserved 8 機械学習で出来ること ● 画像解析・画像（静止画）の解析・画像のラベル付け・不適切な画像の検出・製品ロゴの検出・地名検出・OCR（テキスト抽出）・顔検知・Web上の類似画像検索 ● 動画解析・動画のラベル付け・シーン変化検知・撮影場所検知 ● テキスト解析・文章解析・テキストの感情分析・テキストの文法構造解析・単語のカテゴリー解析・メール分別・数値計算・メール自動返信文作成 ● 音声解析・音声のテキスト化・音声の自動応答 ● 翻訳解析・テキストの言語翻訳

10. Copyright(C) 2019 GCPUG All Rights Reserved 10 機械学習の全体像情報ソースデータ蓄積データ分析SNS （Facebook / Twitterなど）ニュース記事 Webサイト・ブログコールセンター顧客マスター取引履歴など社内データクローラーによる自動収集データのクレンジング（精査）定型/否定形データのDB化分析エンジン一定件数の抽出キーワード分析リアルタイム検知社外データ問題の発見商品 / サービスの強化新商品 / 新サービス開発のヒントマーケティング活用サポート内容の充実分析結果の活用工場のセンシングデバイス監視カメラ位置情報など IoTデータ

13. Copyright(C) 2019 GCPUG All Rights Reserved 13 ● 期待したとおりの予測（PoC 概念実証）ができるか ● 機械学習でユーザーに良質な価値（精度の高いデータ）を提供できるか ● データ取得して蓄積、解析・特徴を抽出する構成の設計 ● モデルのデプロイ・バージョンを管理する構成 ● モデルへ入力するデータの形式は「学習時」「推論時」と同一にしておく ● サーバーレスと相性が良い機械学習の構築・設計のポイント

15. Copyright(C) 2019 GCPUG All Rights Reserved 15 GCPで機械学習するときデータフローの要素 GCPプロダクトプロダクトの用途データ収集 Cloud IoT Core Cloud Pub/Sub Cloud Function App Engine センシングメッセージングコンピューティングコンピューティングデータ蓄積 BigQuery Cloud Datastore DWH（データ解析） NoSQL DB データ整形・整理 Cloud Dataflow データ処理データ学習・推論 ML Engine 機械学習

17. Copyright(C) 2019 GCPUG All Rights Reserved 17 ・一機能の実現に適した（FaaS）・マイクロサービスの構築・APIを利用する時のユーザー認証・httpで応答するバックエンドサービス・IoT デバイスからのデータ取り込み・Cloud Storageへのファイルアップロードをトリガーとしたファイル処理・ファイルアップロード時のフォーマット変換 Cloud Faction の主な特徴・用途 Cloud Function

18. Copyright(C) 2019 GCPUG All Rights Reserved 18 ● データがバッチ（定期）or リアルタイム（不定期）にクラウドへ送信されるかどうか ◇ IoTデバイスから取得する場合・工場オートメーションでのセンシングデバイス・コンシューマのスマートデバイス・データ取得がバッチ（定期）での処理 ◇ アプリケーションから取得する場合・Webサービスなどの送信元多数からのデータ取得・送信タイミングが不定期、データサイズが様々・リアルタイム（不定期）での処理データ収集・蓄積 Cloud Function 向き GAE 向き

19. Copyright(C) 2019 GCPUG All Rights Reserved 19 ・ビッグデータ解析用のDWH ・ペタバイト級のデータを数分でフルスキャン・機械学習用の学習、推論データの取得、保存、解析、フィードバック・アクセス権限、データ階層の概念 BigQuery の主な特徴・用途 BigQuery BigQueryのデータ階層とアクセス権限イメージデータセット B プロジェクト A テーブル C テーブルセット D ユーザーX ユーザーY プロジェクトAの権限が全データセットへ継承データセットDのみの権限テーブル E

21. Copyright(C) 2019 GCPUG All Rights Reserved 21 ・パイプライン処理、分岐・ETL（データ抽出を変換する工程）・複数のデータソースからデータをマージ・データフォーマットを変えて複数の出力先に出力・イレギュラーな値が来た時に、別の専用の処理へ分岐させたり Cloud Dataflow の主な特徴・用途 Cloud Dataflow 分岐を持ったパイプラインのイメージデータ抽出処理 A 処理 B データマージデータ出力

GCPUG Tokushima ” 30分でわかる ” GCPを使った 機械学習システムの構築

Yuya Ohara