Download as PDF, PPTX
データ分析を支える技術 DWH再入門
- 1.
- 2. 2⾃⼰紹介 • ⽒名 - ⽯川覚 (いしかわ さとる) • 所属 - データアナリティクス事業本部 (DA事業本部) - インテグレーション部 - 札幌オフィス勤務 • 略歴 - メーカー系SIer、ITベンチャー企業、現在に⾄る • 担当業務 - データ分析基盤の設計・開発、コンサルティング • 好きなサービス - Amazon Redshift/Athena、Snowflake 、Google BigQuery 2020 APN AWS Top Engineers 選出
- 3. 3アジェンダ • DWH再⼊⾨ • DWHの特性 •ディメンジョナルデータモデル • 分析データの利⽤ • ⼀般的なDBとDWHの相違点 • DWHのアーキテクチャ
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11. 11DWHの特性 ビル・インモンさんが提唱するDWHの4つ特性 1. 統合化（integrated） 2. サブジェクト指向（subjectoriented） 3. 時系列（time variant） 4. 恒常性（nonvolatile）
- 12. 12DWHの特性 ビル・インモンさんが提唱するDWHの6つ特性 1. 統合化（integrated） 2. サブジェクト指向（subjectoriented） • 詳細データ（detail data） • 要約データ（summary data） 3. 時系列（time variant） 4. 恒常性（nonvolatile）
- 13. 13DWHの特性 まずは部⾨のデータをDWHに集める 部⾨のデータを⼀箇所に集めるには、部⾨のDBからエクス ポートしたファイルをDWHにインポートするのが⼀般的で す。 • 部⾨のDBからエクスポートしたファイルはオブジェクトス トレージにアップロードする • 補⾜︓AmazonRedshiftの場合、S3（オブジェクトスト レージ）に集めたデータファイルは、データファイルに対し て直接クエリを実⾏できる「データレイク」のストレージと しても活⽤できる
- 14. 14DWHの特性 1. 統合化（integrated） 各部⾨のデータの表記揺れや意味を統⼀します。データを利⽤ するアナリストが個々のデータの違いを意識せずに利⽤できる ように整理する。 例． • ⽇付︓和暦から⻄暦変換、JSTからUTC変換 •⽂字列︓⼤⽂字⼩⽂字、整数・少数、表記揺れ • 値︓Nullや空⽂字、コード体系の取り扱い
- 15. 15DWHの特性 1. 統合化（integrated） 補⾜︓データの変換⽅法 • ETL（ExtractTransform Load） • ETLツールでデータを変換してロードする⽅式 • ELT（Extract Load Transform） • ステージングエリアにデータをロードした後、SQLでデータを変 換する⽅式
- 16. 16DWHの特性 2. サブジェクト指向（subject oriented） •「商品」や「顧客」のように分析の軸（次元）ごとに集計し て蓄積したデータである「データマート」を作成する • 複数ディメンジョンのデータマート︓データ探索⽤途 • 単⼀ディメンジョンのデータマート︓パフォーマンス重 視のためダッシュボード⽤途 ※グラニュラリティ（要約の粒度）は要件やデータの規模に よって調整する
- 17. 17DWHの特性 2. サブジェクト指向（subject oriented） •詳細データ（detail data）︓分析しやすく変換したデータ をそのまま保存 • 要約データ（summary data）︓複数の詳細データを結合 したり、集計した結果を保存
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36. 36分析データの利⽤ 代表的なデータ分析の⼿法 • ダイス • スライス •ドリルアップ・ドリルダウン BIツールを使い始める前に 理解することをおすすめします。
- 37.
- 38.
- 39. 39分析データの利⽤ ドリルアップ・ドリルダウン 分析の深さを詳細にしたり、まとめたりして変更する操作。 • 例1．年⽉ごとに⾏っていた分析を、粒度をあげて年単位に することをドリルアップという • 例2．逆に粒度を下げて⽇単位にすることをドリルダウンと いう •年⽉⽇のドリルアップ・ドリルダウンはBIツールを⽤いる と簡単にできる
- 40. 40分析データの利⽤ BIツールによる可視化 • ダイス、スライス、ドリルダウン・アップの操作が容易 • データを2次元的なクロス集計表だけでなく、様々な表⽰形 式（グラフなど）でデータを表現できる •定型分析 • ダッシューボードなど、常に表⽰する情報は、パフォー マンス重視の単⼀ディメンジョンデータマートを⽤いる • データ探索（データディスカバリ） • 統合化（integrated）後のデータや既存の複合ディメン ジョンデータマートを⽤いて、新たな洞察を得る
- 41.
- 42.
- 43. 43相違点 アクセスパターン • オンライントランザクション処理（OLTP）︓⼀般的なDB • インデックスのキーから少数のレコードを取得・更新 •インタラクティブであり、素早く応答が必要 • オンライン分析処理（OLAP）︓DWH • ⼤量のレコード中の少数の列だけを読み出しが多い • 要約統計 (レコード数、合計、平均など)を計算した結果 をユーザーに返したり、テーブルに保存する
- 44. 44相違点 データアクセスの⽐較 特性 オンライントランザクション処理 (OLTP: OnLineTransaction Processing) オンライン分析処理 (OLAP: OnLine Analytic Processing) データの規模 数GBから数TB 数百GBから数PB 読み込みの パターン インデックスのキーを⽤いた少数 のレコードの低レイテンシ読み込 み ⼤量のレコード中の少数の列だ けを読み込み 書き込みの パターン ランダムアクセスと低レイテンシ 書き込み レコード中の更新した列の追加 書き込み、もしくは⼤量データ の⼀括インポート
- 45.
- 46.
- 47.
- 48.
- 49. 49DWHのシステム構成 複数のノードを⽤いた並列分散処理 ⼤量のデータの分析を想定した並列分散アーキテクチャを採⽤ している。 • シェアードナッシング • ストレージをノードごとに割り当て、複数ノードで並列 分散処理する •シェアードストレージ • データを共有ストレージに保存し、複数ノードで並列分 散処理する • ストレージとコンピューティングを分離
- 50. 50DWHのシステム構成 DWHの例 • シェアードナッシングを採⽤しているDWH • AmazonRedshift（RA3はハイブリッド） • Teradata • Vertica • シェアードストレージを採⽤しているDWH • Google BigQuery • Snowflake
- 51.
- 52.
- 53. 53まとめ DWHのデータ設計 • アナリストが個々のデータの違いを意識せずに利⽤できるよ うにデータを統合化（integrated）する • 分析⽤途応じて、結合・集計されたデータマートが時系列か つ永続的に保存する •分析⽤途のテーブルはディメンジョナルデータモデル（ス タースキーマ）を採⽤し、第2正規化までとする
- 54. 54まとめ DWHのデータ活⽤ • データの可視化にはデータマートとBIツールが有効 • 複数ディメンジョンのデータマート︓データ探索⽤途 •単⼀ディメンジョンのデータマート︓パフォーマンス重 視のダッシュボードなど
- 55.
- 56.