データドリブン企業における、hadoop基盤とETL #hcj2016

データドリブン企業における、hadoop基盤とETL #hcj2016
1© Cloudera, Inc. All rights reserved. データドリブン企業における Hadoop基盤とETL 〜～niconicoでの実践例例〜～ Cloudera株式会社　嶋内翔株式会社ドワンゴ　共通基盤開発部　志村誠
2© Cloudera, Inc. All rights reserved. ⾃自⼰己紹介 •  嶋内　翔(しまうち　しょう) •  テクニカルエバンジェリスト •  2011年年4⽉月にClouderaの最初の⽇日本⼈人社員として⼊入社 •  お客様がCloudera製品を活⽤用できるように⼀一緒に議論論するのがメインの仕事 •  email: sho@cloudera.com •  twitter: @shiumachi
3© Cloudera, Inc. All rights reserved. エンタープライズセールス⼤大規模システムに関わる営業ができる⼈人歓迎セールスエンジニア技術の価値を伝えることに興味がある⼈人歓迎 We are hiring! http://www.cloudera.co.jp/company/careers.html career-‐‑‒jp@cloudera.com または、Cloudera社員に直接話しかけよう！
4© Cloudera, Inc. All rights reserved. 前半アジェンダ •  ETLとは？ •  データウェアハウス + Hadoop •  Hadoopとエンタープライズデータハブ(EDH) •  HadoopとETL •  従来のETLとの違い •  事例例: Kaiser Permanente
5© Cloudera, Inc. All rights reserved. •  Extract -‐‑‒ 単⼀一あるいは複数のデータソースからのデータの抽出 •  Transform -‐‑‒ ビジネスニーズに応じてデータを変換 •  Load -‐‑‒ 最終ターゲットにデータをロード •  データの前処理理 •  クレンジング •  正規化 •  特にHadoopで「バッチ処理理」と呼ばれている処理理の⼤大多数 • ⽇日次集計バッチなどこれらは全てETLです ETLとは？
6© Cloudera, Inc. All rights reserved. データウェアハウス ETLシステム •  抽出 •  変換 •  共通化プレゼンテーション層 •  共通ディメンション •  ファクトテーブル BIアプリケーション •  業務レポート •  分析アプリケーション •  ダッシュボードデータソース •  RDBMS •  フラットファイル •  XML / JSON •  メッセージキュー •  プロプライエタリなデータフォーマット DWH バックルーム DWH フロントルーム
7© Cloudera, Inc. All rights reserved. データウェアハウス + Hadoop ETLシステム •  抽出 •  変換 •  共通化プレゼンテーション層 •  共通ディメンション •  ファクトテーブル BIアプリケーション •  業務レポート •  分析アプリケーション •  ダッシュボード •  ⼀一般的な⽤用途のプログラムデータソース •  RDBMS •  フラットファイル •  XML / JSON •  メッセージキュー •  プロプライエタリなデータフォーマット •  複雑構造のデータ •  ⾮非構造化テキスト •  画像、ビデオ •  キーバリューペア DWH バックルーム DWH フロントルーム
8© Cloudera, Inc. All rights reserved. Hadoopを基盤とした、新しいデータプラットフォーム •  安価にスケール可能 •  あらゆるワークロードを単⼀一のプラットフォームで実現 •  無制限のデータ Hadoopとエンタープライズデータハブ(EDH) STRUCTURED Sqoop UNSTRUCTURED Kafka, Flume PROCESS, ANALYZE, SERVE UNIFIED SERVICES RESOURCE MANAGEMENT YARN SECURITY Sentry, RecordService FILESYSTEM HDFS RELATIONAL Kudu NoSQL HBase STORE INTEGRATE BATCH Spark, Hive, Pig MapReduce STREAM Spark SQL Impala SEARCH Solr SDK Kite
9© Cloudera, Inc. All rights reserved. データは準備しなければ使えない Hadoopの特⻑⾧長？分散処理理・分散ストレージ -‐‑‒ アーキテクチャに着⽬目ビッグデータ、⾼高度度な機械学習 -‐‑‒ ユースケースに着⽬目
10© Cloudera, Inc. All rights reserved. データは準備しなければ使えない Hadoopの特⻑⾧長？分散処理理・分散ストレージ -‐‑‒ アーキテクチャに着⽬目ビッグデータ、⾼高度度な機械学習 -‐‑‒ ユースケースに着⽬目 Hadoopを使えばETLバックルームのアーキテクチャは⼤大きく変わる
12© Cloudera, Inc. All rights reserved. HadoopとETL(1): データ取込みレイヤ STRUCTURED Sqoop UNSTRUCTURED Kafka, Flume PROCESS, ANALYZE, SERVE UNIFIED SERVICES RESOURCE MANAGEMENT YARN SECURITY Sentry, RecordService FILESYSTEM HDFS RELATIONAL Kudu NoSQL HBase STORE INTEGRATE BATCH Spark, Hive, Pig MapReduce STREAM Spark SQL Impala SEARCH Solr SDK Kite Apache Sqoop: SQL to Hadoop •  効率率率的な双⽅方向のデータバルクロード •  RDBMS / EDW / NoSQL ⽤用の無償のカスタムコネクタを利利⽤用可能 Apache Flume: Hadoop⽤用ログ収集ソフト •  ⼤大量量のストリーミング/ログデータを移動可能 •  信頼性、スケーラビリティ、管理理性、拡張性が⾼高い •  複数のシステムからデータを収集しやすい Apache Kafka: Hadoop⽤用Pub-‐‑‒Subメッセージング •  多数の「プロデューサ」から多数の「コンシューマ」へデータを移動可能 •  幅広い⽤用途に対し最も柔軟にサポート •  Flume / HBase / Spark などと統合
13© Cloudera, Inc. All rights reserved. HadoopとETL(2): HDFSとHiveメタストア STRUCTURED Sqoop UNSTRUCTURED Kafka, Flume PROCESS, ANALYZE, SERVE UNIFIED SERVICES RESOURCE MANAGEMENT YARN SECURITY Sentry, RecordService FILESYSTEM HDFS RELATIONAL Kudu NoSQL HBase STORE INTEGRATE BATCH Spark, Hive, Pig MapReduce STREAM Spark SQL Impala SEARCH Solr SDK Kite ETLにおけるHDFSとHiveメタストア •  HDFS -‐‑‒ データフォーマットを選ばない、すなわちリレーショナルテーブルである必要がない •  Hiveメタストア / HCatalog -‐‑‒ オープンで拡張性が⾼高い、ベンダ固有のテーブルではないスキーマオンリード •  クエリ実⾏行行側にどうやってデータを活⽤用するのかを決めさせることができる •  性能を得るために、ビューのマテリアライズを遅延させることができる •  例例) Parquet File の作成
14© Cloudera, Inc. All rights reserved. HadoopとETL(3): データ変換処理理 STRUCTURED Sqoop UNSTRUCTURED Kafka, Flume PROCESS, ANALYZE, SERVE UNIFIED SERVICES RESOURCE MANAGEMENT YARN SECURITY Sentry, RecordService FILESYSTEM HDFS RELATIONAL Kudu NoSQL HBase STORE INTEGRATE BATCH Spark, Hive, Pig MapReduce STREAM Spark SQL Impala SEARCH Solr SDK Kite Spark / MapReduce •  分散処理理による⾼高速なバッチ処理理 Hive / Pig / Crunch •  バッチ処理理を記述しやすくするための上位⾔言語
15© Cloudera, Inc. All rights reserved. 従来のバックルーム Hadoopによるバックルームデータソースからの転送が遅い投⼊入前に物理理的なデータ変換が必要投⼊入前にクレンジングや正規化が必要 RDBMSテーブルターゲットが必須メタデータはシステムテーブルに制限プレゼンテーション層はベンダー固有で RDBMS SQLにしか対応不不可バックルームの変化: システム⾯面
16© Cloudera, Inc. All rights reserved. 従来のバックルーム Hadoopによるバックルームデータソースからの転送が遅いデータソースからの転送が速い投⼊入前に物理理的なデータ変換が必要物理理的なデータ変換はオプション投⼊入前にクレンジングや正規化が必要投⼊入前のクレンジングや正規化は⾮非推奨 RDBMSテーブルターゲットが必須 RDBMSテーブルターゲットはオプションメタデータはシステムテーブルに制限 HCatalogによる拡張性のあるメタデータプレゼンテーション層はベンダー固有で RDBMS SQLにしか対応不不可プレゼンテーション層は制限がない •  データ変換前に適⽤用してもいい •  分析アプリケーション毎に固有 •  複数の特徴を同時に持つことが可能バックルームの変化: システム⾯面
17© Cloudera, Inc. All rights reserved. 従来のバックルーム ETLスタッフのよくある発⾔言 •  「データはまだ準備中」 •  「データはクレンジングが必要」 •  「データガバナンス優先」 •  「エンドユーザは信⽤用できない」 Hadoopによるバックルーム誰もが⾃自由にデータを使える •  ⾼高いスキルの分析ユーザ •  データサイエンティスト •  ⾃自動化プロセス •  機械学習アプリケーション •  実験的なモデル作成 •  SQL以外のクライアント •  全⽂文検索索エンジンバックルームの変化: チーム⾯面
18© Cloudera, Inc. All rights reserved. HDFS •  ⽣生データ領領域 •  ソースデータの完全な複製 •  情報ドメイン毎に整理理 •  変換処理理は⼀一切切⾏行行わない •  精製済データ領領域 •  ユースケース毎に整理理 •  変換済・準備済データセット •  ユーザ定義領領域 •  IT部⾨門の準備を待ちたくないユーザは多い •  サンドボックスとしてデータの活⽤用を実験したいユーザも多い •  マスターデータ、メタデータ、外部からの参照データなどは専⽤用領領域に格納 •  システム全体をセキュアに •  認証、ロールベースアクセス制御、暗号化「次の数年年間で、社内のデータマートをかなりの数減らすことができるだろう」「意思決定のための全ての社内アプリケーションにとっての単⼀一のデータソースとなることが⽬目標」 Kaiser Permanente の事例例⽣生データ領領域ユーザ定義領領域精製済データ領領域データレジストリ (タグ&カタログ) マスターデータメタデータ使⽤用量量データ内部参照データ業界参照データデータロード置換抽出-‐‑‒ロードコピーデータ抽出データソース DWH/DM データ・セレクション Hive ImpalaPig Java Python 図は以下の参考資料料を元に作成 http://www.cloudera.com/resources/recordedwebinar/the-‐‑‒future-‐‑‒of-‐‑‒ data-‐‑‒warehousing-‐‑‒-‐‑‒etl-‐‑‒will-‐‑‒never-‐‑‒be-‐‑‒the-‐‑‒same.html

Check these out next

データドリブン企業における、hadoop基盤とETL #hcj2016

Recommended

More Related Content

More from Cloudera Japan(20)

Recently uploaded(20)

データドリブン企業における、hadoop基盤とETL #hcj2016