6 月 18 日 Next - Google が描く、MapReduce を超えたビッグデータの世界
•
9 likes•2,274 views
世界 2004年 MapReduce は最先端のシステムだと賞賛されましたが、2015年 Next にて現在の最先端であるデータ処理ツール、 Dataflow や分析ツール、 BigQuery をどのように使用するかをご覧にいれます。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 6 月 18 日 Next - Google が描く、MapReduce を超えたビッグデータの世界
Similar to 6 月 18 日 Next - Google が描く、MapReduce を超えたビッグデータの世界 (20)
More from Google Cloud Platform - Japan
More from Google Cloud Platform - Japan (20)
Recently uploaded
Recently uploaded (10)
6 月 18 日 Next - Google が描く、MapReduce を超えたビッグデータの世界
- 2. +Kazunori Sato @kazunori_279 佐藤 一憲 デベロッパー アドボケイト Cloud Platform, Google Inc. クラウド コミュニティ支援 クラウド製品ローンチ支援
- 3. Dremel MapReduce 2012 20132002 2004 2006 2008 2010 GFS MillWheelFlume Cloud Dataflow MapReduceを超えた世界 BigQuery
- 5. Dremel MapReduce 2012 20132002 2004 2006 2008 2010 GFS MillWheelFlume Google BigQuery BigQuery
- 7. Googleでは簡単な データ解析にMapReduce は使いません 使うのはDremel = Google BigQuery SELECT top(appId, 20) AS app, count(*) AS count FROM installlog.2012 ORDER BY count DESC 20秒で1000億行をスキャン可能 インデックスは不使用
- 8. BigQueryのデモ
- 9. 例: 1000億行に対するRegEx + GROUP BY SELECT language, SUM(views) as views FROM ( SELECT title, language, MAX(views) as views FROM [helixdata2:benchmark.Wiki100B] WHERE REGEXP_MATCH(title, "G.*o.*") GROUP EACH BY title, language ) GROUP EACH BY language ORDER BY views desc
- 10. 実行時間: ~30秒* ● 4 TBのデータを読み込み ● 1000億の正規表現を実行 ● 278 GBをシャッフル 1台のサーバーだと (推定数値): ● ディスクから4 TBを読み込むのに11.6時間 ● 1000億の正規表現を実行するのに27時間 ● 278 GBをシャッフルするのに37分 例: 1000億行に対するRegEx + GROUP BY *これらの数字は特定のケースにおけるGoogle BigQuery の性能の一例であり、性能を保証するものでは ありません。
- 12. 超並列処理 select top(title), count(*) from publicdata:samples.wikipedia 1 TBを1秒でスキャンするには 5,000台のディスクが必要 個々のクエリを数千のサーバー上で実行
- 13. ミキサー0 ミキサー1 ミキサー1 シャード シャード シャード シャード ColumnIO on Colossus SELECT state, year COUNT(*) GROUP BY state WHERE year >= 1980 and year < 1990 ORDER BY count_babies DESC LIMIT 10 COUNT(*) GROUP BY state ツリー構造による高速アグリゲーション
- 14. BigQuery Analytic Service in the Cloud BigQuery Google アナリティクス 解析 エクスポートインポート インポート、解析、エクスポート ETLツール コネクター BIツールと可視化 Googleクラウド Googleクラウド スプレッドシート、R、 Hadoop
- 15. 驚くほど高速 20秒で1000億行のスキャンが可能 SQL シンプルかつ直感的なSQL 低コスト ストレージ: 1カ月 $0.020/GB クエリ: $5/TB フルマネージド 運用コストなしで数千のサーバーを利用 BigQueryのメリット
- 17. Dremel MapReduce 2012 20132002 2004 2006 2008 2010 GFS MillWheelFlume Cloud Dataflow Cloud Dataflow BigQuery
- 18. 2014年6月24日: Google I/Oで発表 2014年12月17日: アルファ 2015年4月15日: ベータ 次のマイルストーン: 一般向け提供開始 Cloud Dataflowのリリーススケジュール
- 20. Google Cloud Platform におけるCloud Dataflow ストリーム バッチ Cloud Pub/Sub Cloud Logging Cloud Dataflow BigQuery Cloud Storage Cloud Dataflow Bigtable Google Cloud Storage
- 22. Cloud Dataflow SDK for Java and Python
- 24. Pipelineはデータの流れを表す有向非循 環グラフ (DAG) : MapReduce/Hadoopジョブ Apache Sparkジョブ 複数の入力と出力 Google Cloud Storage Google BigQuery tables Google Pub/Sub Google Cloud Bigtable … およびあらゆる外部システム Pipeline
- 25. Pipeline内のデータの集まり 任意のサイズのデータを扱える BoundedとUnbounded (Stream) Key-Valueペアも扱える {Seahawks, NFC, Champions, Seattle, ...} {KV<S, {Seahawks, Seattle, …}, KV<N, {NFC, …} KV<C, {Champion, …}} PCollection
- 26. Transforms M M M R R GroupByKey ParDo Combine.GroupedValues
- 27. オートコンプリートの例 ツイート 予測 読み 込み #argentina scores, my #art project, watching #armenia vs #argentina タグの抽出 #argentina #art #armenia #argentina カウント (argentina, 5M) (art, 9M) (armenia, 2M) プレフィクス対応 a->(argentina,5M) ar->(argentina,5M) arg->(argentina,5M) ar->(art, 9M) ... 上位3件抽出 書き 出し a->[apple, art, argentina] ar->[art, argentina, armenia] .apply(TextIO.Read.from(...)) .apply(ParDo.of(new ExtractTags())) .apply(Count.create()) .apply(ParDo.of(new ExpandPrefixes()) .apply(Top.largestPerKey(3) Pipeline p = Pipeline.create(); p.begin(); .apply(TextIO.Write.to(...)); p.run()
- 29. Cloud PubSubでストリーム処理 Pipeline p = Pipeline.create(new PipelineOptions()); p.begin() .apply(PubsubIO.Read.topic(“input_topic”)) .apply(Window.into(SlidingWindows.of( Duration.standardMinutes(60))) .apply(ParDo.of(new ExtractTags())) .apply(Count.perElement()) .apply(ParDo.of(new ExpandPrefixes()) .apply(Top.largestPerKey(3)) .apply(PubsubIO.Write.topic(“output_topic”)); p.run();
- 30. Windowとは: Pcollectionのタイムスライス Fixed: 毎時間、毎日… Sliding: 最後の1分... Session: 各セッション 夜間 日中 夜間 Window
- 32. Google Cloud Dataflow 最適化 スケジューリ ング GCS GCS ユーザーコード & SDK モニタリング UI パイプラインの 流れ
- 34. 最適化された実行グラフ IN1 IN2 IN3 IN4 OUT1 OUT2 GBK = ParallelDo GBK = GroupByKey + = CombineValues J2 +F+ Cnt GBK + C+D+J1 B+D+J1 A+J1 E+J1
- 35. リアルタイム監視用UI
- 36. 800 RPS 1,200 RPS 5,000 RPS 50 RPS ワーカーのスケーリング
- 37. フルマネージド 何百というノードに対して運用コストゼロ スケーラビリティ、フォールトトレランス、最適化 バッチ + ストリーム処理 単一論理で2つのパラダイムを統合 容易なパイプライン設計 Java/Pythonを使用してパイプラインを定義 Cloud Dataflowのメリット
- 40. ありがとうございました