Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[Cloud OnAir] ビジネスを変革する!クラウドを活用したデータ分析基盤の第一歩 (LIVE) 2018年4月12日 放送

3,003 views

Published on

データを分析し、機械学習などを活用していくためにはデータを蓄積することがまず重要となります。データウェアハウス、データレイクといったデータ分析の第一歩をわかりやすく説明し、それがビジネスにどう役立つかをお話します。また、それを Google Cloud Platform BigQuery や Google Cloud Storage, G Suite といったサービスを活用することでどのように簡単に実現できるかもご紹介します

Published in: Technology
  • Hello! Get Your Professional Job-Winning Resume Here - Check our website! https://vk.cc/818RFv
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

[Cloud OnAir] ビジネスを変革する!クラウドを活用したデータ分析基盤の第一歩 (LIVE) 2018年4月12日 放送

  1. 1. Cloud Onr Cloud OnAir Cloud OnAir ビジネスを変革する!クラウドを活用し たデータ分析基盤の第一歩 2018 年 4 月 12 日 放送
  2. 2. Agenda Cloud OnAir 1 3 2 4 企業におけるデータの活用 データ活用のための基盤とは Google Cloud 事例 まとめ
  3. 3. Cloud OnAir Cloud OnAir 企業におけるデータ活用
  4. 4. Cloud OnAir ● AI でいい感じに ● 分析で売上の落ちてる 原因がわかる ● 意思決定を助ける データ活用とは
  5. 5. Cloud OnAir データが使えない状態 ● フォーマットが違う ● 格納場所が違う ● データを捨てている ● データが取れてない ● 検索・集計できない データの現実
  6. 6. Cloud OnAir 機械学習、 AI を活用したい If Your Company Isn’t Good at Analytics, It’s Not Ready for AI “ “もしあなたの会社が分析を得意ではないのであれば、 AI への準備が出来ているとは言わない – Harvard Business Review , 2017
  7. 7. Cloud OnAir データ分析、 機械学習をビジネスに適用するステップ ビジネス要件から 必要なデータ要件を 決定 デ ー タを収 集 デ ー タを活 用 データを ビジネスに活用
  8. 8. Cloud OnAir データ収集・データ活用のステップ  データを活用する データから施策を決定 ● A/B テストなどで打ち手の 効 果を判断 ● PDCA を回す ● データから生成した機械学習モ デルを使ってみる ● データの鮮度をもっと上げる データを収集 データを収集、蓄積、分析 ● 自動でデータを蓄積 ● データを整理する ● KPI を可視化する データを分析 分析し、打ち手を考える ● 仮説を立てる ● 仮説が合っているかデータを 分析 ● 正しければ打ち手にする ● データ種類が足りていない可 能性も考慮する ● データから新しい洞察も
  9. 9. Cloud OnAir データ分析、 機械学習をビジネスに適用するステップ 本日の話  データを活用する データから施策を決定 ● A/B テストなどで打ち手の 効 果を判断 ● PDCA を回す ● データから生成した機械学習モ デルを使ってみる ● データの鮮度をもっと上げる データを蓄積 データを蓄積、分析 ● 自動でデータを蓄積 ● データを整理する ● KPI を可視化する データを分析 分析し、打ち手を考える ● 仮説を立てる ● 仮説が合っているかデータを 分析 ● 正しければ打ち手にする ● データ種類が足りていない可 能性も考慮する ● データから新しい洞察も
  10. 10. Cloud OnAir Cloud OnAir データ活用のための基盤
  11. 11. Cloud OnAir データウェアハウス と データレイク データレイクデータウェアハウス
  12. 12. Cloud OnAir データレイクデータウェアハウス (DWH) データウェアハウス とは ● データの統合場所 ● 消さない・更新しない・蓄積 ● 置くだけではなく、整理する ● 検索可能にする
  13. 13. Cloud OnAir データウェアハウス はなぜ必要なのか EC データベース 店舗会員 データベース データウェアハウス 会員 ID = 15 EC の購入履歴 店舗会員の購入履歴 データを統合し、横断して検索したい
  14. 14. Cloud OnAir データウェアハウス に求められること ● 巨大なデータ でも ○ クエリが速い ○ 複数データをまたがって クエリを実行できる ○ 安い ○ 初期投資は抑えたい ○ 基盤は運用したくない データウェアハウス ● 蓄積 ● 統合 ● 整理 ● 検索
  15. 15. Cloud OnAir Google Cloud で作る、データウェアハウス ● クラウド上のデータウェアハウス ● SaaS 型(フルマネージド)で運用のため の人員やリソースが不要 ● 低コスト、従量課金 ● 巨大な一つのストレージで社内のデー タ流通を促進 BigQuery を利用する
  16. 16. Cloud OnAir Google Cloud で作る、データウェアハウス 性能チューニング 監視 可用性の 担保デプロイと設定 利用効率改善 伝統的な分析基盤 分析と洞察 リソースの確保 成長にあわせた リソース追加 分析と 洞察 BigQuery なら
  17. 17. Cloud OnAir Google Cloud で作る、データウェアハウス データ (CSV, JSON 等) 2018-04-12, A0001, tee_0123 2018-04-10, B2394, shirts_1234 2018-04-10, B2394, shirts_1234 Google スプレッドシート で見る Google Data Studio で可視化BigQuery プログラム で利用 様々な システム UI で簡単に操作
  18. 18. Cloud OnAir Google Cloud で作る、データウェアハウス ● データを確認 ● 集計クエリを実行 ● Google スプレッドシートへ データ連携 BigQuery ウェブ UI で ほぼすべて完結 詳しくは次週 e-learning で!
  19. 19. Cloud OnAir データレイクデータウェアハウス (DWH) データレイク とは ● Raw Data (未加工データ)を保存 ● 非構造化データ をサポート ● データは基本的に不変 ● データ処理ツールに依存しない
  20. 20. Cloud OnAir データレイクはなぜ必要なのか データウェアハウス (データベース) 会員ID 名前 住所 A00002 Joe 東京都... B00002 Azusa 千葉県... C00002 Yuta 北海道... 構造化されている データレイク etc. 構造化されていない “ 生データ ” を含む
  21. 21. Cloud OnAir データレイクはなぜ必要なのか (2) データレイクが必要となるシーンの一例:  ラーメン二郎判別機
  22. 22. Cloud OnAir データレイクはなぜ必要なのか (3) 教師データ 画像 : タグ 形式でデータレイクに整理されて保存する Img.01, “Ookubo_branch” Img.02, “Jimbocho_branch” Img.03, “Mita_hq” Cloud AutoML Vision
  23. 23. Cloud OnAir データレイクに求められる要件 ● 安く保存したい ● 読み出し・書き出し ○ 一般的なインターフェース ○ 用途に応じて速い ● 耐久性 ○ 無くならない データ レイク 蓄積・不変 何からでも読める システム 分析ソフト
  24. 24. Cloud OnAir データレイクに求められる要件 ● 統合型オブジェクトストレージ ● HTTP (S) で操作 ● 安全で耐久性のある保管 (11 nines) ● パフォーマンスとコストのバランスの取れ たストレージクラス ● 分析サービスとの統合 Cloud Storage (GCS) を利用する
  25. 25. Cloud OnAir おさらい : ゾーンとリージョン ゾーン ● ゾーンが互いに依存しない設計 ● 1ゾーンが使用不能になっても、他のゾーンは可動 しているため、ゾーンを束ねて利用 リージョン ● ゾーンをまとめた 「地域 」 ● 国はまたがない ● リージョンは 約 150km 以上離れる
  26. 26. Cloud OnAir 安全で耐久性のある保管 Multi Regional Storage ● 複数のリージョンにデータが複製される ● 災害対策 (DR) 、複数国へのデータ配信 Regional Storage ● リージョン内部でデータを複製し、  耐 久性が 99.999999999% (11 Nines) になるよう設計
  27. 27. Cloud OnAir 安全で耐久性のある保管 (2) - Multi-Regional GCS - US GCS - Asia GCS - EU
  28. 28. Cloud OnAir パフォーマンスとコストのバランス クラス 保存費用 取り出し 費用 ユースケース Multi-Regional 無料 広い地域へのコンテンツ配信、DR Regional 無料 コンテンツ配信、 アクティブなストレージ Nearline 少し 月に1度以下のアクセス、 バックアップ用途 Coldline (アーカイブ用途) 最安 かかる 年に1度以下のアクセス、 アーカイブ用途 クラスを自動変更する定義を設定可能 (保管日数 360 日以上は 安い Coldline 等 へ自動移動)
  29. 29. Cloud OnAir Cloud Dataprep Google Cloud Storage の使い方 Cloud Storage データ分析/処理 Cloud Dataflow BigQuery Cloud Dataproc Cloud Datalab データ格納 様々な システム ウェブ UI Cloud Dataflow ウェブ UI SDK サードパーティツール   Cloud Dataflow 等
  30. 30. Cloud OnAir Cloud Dataprep Google Cloud Storage の使い方 Cloud Storage データ分析/処理 Cloud Dataflow BigQuery Cloud Dataproc Cloud Datalab データ格納 様々な システム ウェブ UI Cloud Dataflow ウェブ UI SDK サードパーティツール   Cloud Dataflow 等 E-learning (次週放送)で   説明
  31. 31. Cloud OnAir GCS - Google Cloud サービスとの統合 Cloud Storage データ分析/処理 Cloud Dataflow BigQuery Cloud Dataproc データをロード(BigQuery のストレージにコピー)せず分 析も可能 データを読み出し、結果保存ストレージとして利用 データを読み出し、結果保存ストレージとして利用
  32. 32. Cloud OnAir データレイク と データウェアハウスの姿 データレイク データウェアハウス 事業の データベース Webサイトのア クセスログ 分析者
  33. 33. Cloud OnAir データレイク と データウェアハウスの姿 データレイク データウェアハウス 事業の データベース Webサイトのア クセスログ 分析者 Cloud Storage BigQuery
  34. 34. Cloud OnAir Cloud OnAir Google Cloud 活用事例
  35. 35. Cloud OnAir ソニーネットワークコミュニケーションズ 様 ● BigQuery を利用してデータ分析基盤を構 築 ● 基盤の管理より、データの利用や、 データ 構造の最適化に注力 ● エンジニア・企画・分析官が近くで 仕事でき、 PDCA を高速化
  36. 36. Cloud OnAir リクルートライフスタイル 様 ● Airレジのデータを活用した飲食店   経営 アシスタント “Airメイト” を開発 ● BigQuery, Cloud Storage をフル活用 ● フルマネージドサービスで構成し、 膨大 なデータ処理
  37. 37. Cloud OnAir Cloud OnAir まとめ
  38. 38. Cloud OnAir 振り返り データレイク データウェアハウス 事業の データベース Webサイトのア クセスログ 分析者
  39. 39. Cloud OnAir 振り返り データレイク データウェアハウス 事業の データベース Webサイトのア クセスログ 分析者 Cloud Storage BigQuery
  40. 40. Cloud OnAir まとめ ● データを活用するためには、 データを 蓄積、整理・分析 する必要がある ○ データを蓄積:データレイク ○ データを整理・分析:データウェアハウス (DWH) ● クラウドならではのスケーラビリティ、コストを利用することで気軽に構築 機械学習、データ分析などを活用する時を逃さない 第一歩目 : データ活用のための基盤を構築

×