Download as PDF, PPTX
Uploaded byGoogle Cloud Platform - Japan
[Cloud OnAir] そのデータ、今すぐ分析したくありませんか？ クラウドを活用したリアルタイムなデータ分析の方法をお教えします (e-Learning) 2018年5月17日 放送
データ分析の必要性が認識されるにつれ、集めたデータをすぐに処理するリアルタイムなデータ分析へ注目が集まっています。GCP では、リアルタイムなデータ分析を実現するための様々なサービスが提供されています。GCP上でどのようにリアルタイムなデータ分析を行い、その結果、新たにどのようなことが実現可能になるのかをお話します。
More Related Content
![[Cloud OnAir] 良いデータのために良い可視化ツールを使いましょう！ 2019年11月7日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/1107-191107092842-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] GCP で始めるデータドリブン マーケティング 2019年5月16日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0516-190516100815-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] そのデータ、今すぐ分析したくありませんか？ クラウドを活用したリアルタイムなデータ分析の方法をお教えします (LIVE) 20...](https://cdn.slidesharecdn.com/ss_thumbnails/oo-180510091122-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] アプリケーションにフォーカス！ビジネスに直結する開発の極意をご紹介します。(LIVE) 2018年3月8日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/cloudonair-season2ep4-rapiddev-180308095157-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] ビジネスを変革する！クラウドを活用したデータ分析基盤の第一歩 (e-Learning) 2018年4月19日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/aa-180419095105-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] エンタープライズでのマイグレーション 方法論やクラウド ジャーニー 2019年7月18日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0718-190726085551-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 1 月 〜 3 月 総集編 ニーズに合わせてベストなクラウドの使い方を (LIVE) 2018年3月22日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/copyofcloudonair-season2ep5-season2highlight-180322095400-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 機械学習はこうやる！準備と実際のプロセスをお見せします。 (e-Learning) 2018年5月31日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/aaa-180531091415-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] お客様事例紹介 アサヒグループのデータと GCP の活用 2019年6月13日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0613-190617093333-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] クラウド時代に待ったナシ！クラウド、そして google cloud platform を選ぶワケ (e-Learnin...](https://cdn.slidesharecdn.com/ss_thumbnails/cloudonairgooglecloudplatforme-learning-180201095845-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] クラウド移行後の最適化方法を伝授。でも最適化ってなんですか？ (LIVE) 2018年2月8日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/cloudonair201828-180208091906-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] BigQuery ML と AutoML Tables で はじめるマーケティング分析入門 2019年5月23日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0523-190523094914-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] AutoML Vision で学ぶ 「実践的」機械学習 2018年11月29日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/bbb-181129080705-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] お客様事例紹介 -リクルートライフスタイルにおける デジタルトランスフォーメーションとクラウド活用- 2018年7月12日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/444444444444-180712090757-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] BigQuery へデータを読み込む 2019年3月14日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0314-190314100128-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 機械学習はこうやる！準備と実際のプロセスをお見せします。 (LIVE) 2018年5月24日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/aaaa-180524091559-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir ] #03 No-ops で大量データ処理基盤を簡単に構築する](https://cdn.slidesharecdn.com/ss_thumbnails/cloudonair03no-ops-171102093529-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] アプリケーションにフォーカス！ビジネスに直結する開発の極意をご紹介します。(e-Learning) 2018年3月15日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/onair-180315122502-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/dddddd-180906091548-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] ケーススタディから学ぶ GCP で行うデータ エンジニアリング 2019年6月6日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0606-2-190612124949-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] ハイブリッドクラウドと Google Cloud 〜戦略的なクラウド活用を考える〜 2019年2月7日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0207-2-190228063317-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう！ 2018年9月13日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/oooooo-180913090941-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Google Cloud の考える次世代ハイブリッドクラウドとは？ 2019年8月22日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0822-190822074601-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Bigtable に迫る！基本機能も含めユースケースまで丸ごと紹介 2018年8月30日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/1111111-180830075720-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] GCP で構築するデータ分析基盤の最新情報をご紹介！ 2018年11月15日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/cloudonair-20181115analytics-181115072615-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/1017-191017092152-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] クラウド移行でここは外せない絶対条件、Google Cloud Platform のセキュリティについて全て話します！ (e-...](https://cdn.slidesharecdn.com/ss_thumbnails/xxx-180301091055-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] G Suite って何が便利なの？Google AI を活用した働き方とは？今さら聞けない G Suite の最新便利機能をユ...](https://cdn.slidesharecdn.com/ss_thumbnails/aaaaaa-180607074427-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to [Cloud OnAir] そのデータ、今すぐ分析したくありませんか？ クラウドを活用したリアルタイムなデータ分析の方法をお教えします (e-Learning) 2018年5月17日 放送
![[Cloud OnAir] オンプレミスにあるデータを GCP で分析する前に知っておきたいアーキテクチャ 2019年5月30日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0530-190530103406-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/1024-191024090721-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] ビジネスを変革する！クラウドを活用したデータ分析基盤の第一歩 (LIVE) 2018年4月12日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/cloudonair412-180412095134-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] BigQuery の一般公開データセットを 利用した実践的データ分析 2019年3月28日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0328-190328095050-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Cloud Data Fusion で GCP にデータを集約して素早く分析を開始しよう 2019年10月31日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/1031-191031092923-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0514-200514080330-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] ビジネスの成長を加速するマーケティング データウェアハウス 2019年12月5日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/1205-191205090806-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Google Cloud における RDBMS の運用パターン 2020年11月19日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/yy-201119084816-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 安心して GCP を使うための処方箋 ~ 実際のインシデントをもとに ~ 2019年11月14日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/1114-191114044802-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Google Cloud で実践するマイクロサービスアーキテクチャ 2019年2月21日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0221-190221090859-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Google Workspace でできる データ分析と業務自動化のご紹介 2020年12月3日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ol-201203090835-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Google Cloud でセキュアにアプリケーションを開発しよう 2019年3月7日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0307-190307093545-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Cloud Run & Firestore で、実践アジャイル開発 2020年6月25日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0625-200625094921-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] GCP でできる Lift & Shift 〜 移行支援ツールも各種ご紹介 〜 2019年1月17日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0117-190228061013-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 最新版 GCP ではじめる、サーバーレスアプリケーションの開発。 2018年11月8日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/aaa-181108095721-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0509-190509090637-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Google Cloud へのデータ移行 2019年1月24日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/124-190124123019-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Anthosで実現するハイブリッドクラウド 〜 GKE On-Prem編 〜 2019年8月29日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/08292-190829102027-thumbnail.jpg?width=640&height=640&fit=bounds)
![[External] 2021.12.15 コンテナ移行の前に知っておきたいこと @ gcpug 湘南](https://cdn.slidesharecdn.com/ss_thumbnails/external2021-211216025522-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ 〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ppp-201221033858-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 【実演】Google Cloud VMware Engine と VMware ソリューションを組み合わせたハイブリッド環境の...](https://cdn.slidesharecdn.com/ss_thumbnails/pta-201210085248-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Google Cloud へのマイグレーション ツールの紹介 2020年11月26日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ii-201126090801-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 事例紹介: 株式会社オープンハウス 〜Google サービスを活用したオープンハウスの AI の取り組み〜 2020年11月1...](https://cdn.slidesharecdn.com/ss_thumbnails/h-201112061942-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ab-201105085037-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 【Google Kubernetes Engine 演習】解説を聞きながら GKE を体験しよう 2020年10月29日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/bb-201029090440-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Google Cloud の AI / IoT 最新事例紹介 2020年10月22日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/aa-201022092013-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020年9月24日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ooo-200924094839-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] Talks by DevRel Vol.5 アプリケーションのモダナイゼーション 2020年9月3日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ffffffffffffffff-200903090943-thumbnail.jpg?width=640&height=640&fit=bounds)
[Cloud OnAir] そのデータ、今すぐ分析したくありませんか？ クラウドを活用したリアルタイムなデータ分析の方法をお教えします (e-Learning) 2018年5月17日 放送
- 1. Cloud Onr Cloud OnAir CloudOnAir そのデータ、今すぐ分析したくありませんか？ クラウドを活用したリアルタイムなデータ分析方法を お教えします 2018 年 5 月 17 日 放送 e-Learning 補助資料
- 2. Agenda Cloud OnAir 1 3 2 4 振り返り E-learning その1(BigQuery) E-learning その2 (Dataprep) まとめ
- 3.
- 4.
- 5. Cloud OnAir データ分析から分析結果の活用までの流れ アドホック分析 定型分析 統計分析の アプリケーション ダッシュボード データウェアハウス ●アドホック分析によってデータに対して仮説検証を実行 ● アドホック分析の結果、有用性が認められたものが 定型分析として定期的に実行 機械学習の アプリケーション
- 6.
- 7. Cloud OnAir GCP でパイプラインを実現するには？ データウェアハウスデータレイク メッセージング基盤 バッチ処理・ストリーム処理 BigQuery Cloud Storage Cloud Pub/Sub Cloud Dataflow
- 8.
- 9. Cloud OnAir GCS からBigQuery へのデータインポート CSVファイル 1. CSV ファイルを GCS にアップロード（前回実施済み） 2. GCS 上のファイルを BigQuery にインポート 3. インポートしたデータに対してクエリを発行 1 2 3
- 10.
- 11. Cloud OnAir 前回 GCSにアップロードしたデータ
- 12. Cloud OnAir GCS からBigQuery へのインポート ▼ボタンをクリック ▼ボタンをクリック データセットの作成 テーブルの作成
- 13. Cloud OnAir GCS からBigQuery へのインポート Automatically detect にチェック
- 14. Cloud OnAir GCS からBigQuery へのインポート インポート処理の確認
- 15. Cloud OnAir GCS からBigQuery へのインポート インポート結果の確認
- 16. Cloud OnAir GCS からBigQuery へのインポート 実際にクエリを発行してみる
- 17.
- 18. Cloud OnAir Dataprep によるパイプライン処理 1.2 以降の手順を Dataprep で設定 2. CSV ファイルを Dataflow にロード 3. Dataflow で ETL 処理 4. ETL 処理結果を BigQuery にロード 2 3 4 1
- 19. Cloud OnAir 1. 処理対象となる入力データセットの登録 2.処理全体を表すフローを登録 3. フロー内に処理を表すレシピを登録 4. 処理結果の出力先を登録 5. フローの実行（ Dataflow のジョブとして実行 ） Dataprep の基本的な流れ
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45. Cloud OnAir ● データパイプラインの振り返り ●BigQuery によるアドホック分析 ● Dataprep によるデータパイプラインの実現 本日のまとめ