Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

トレジャーデータとtableau実現する自動レポーティング

10,753 views

Published on

トレジャーデータとTableau実現する自動レポーティング

Published in: Technology

トレジャーデータとtableau実現する自動レポーティング

  1. 1. 1 トレジャーデータ株式会社 2014/10 Takahiro Inoue (Chief Data Scientist) taka@treasure-data.com トレジャーデータとTableau で実現する⾃自動レポーティング
  2. 2. 2 Treasure × Tableau Reporting 紹介
  3. 3. 3 現状のレポーティング業務の悩み 1. 毎回定型のレポートを作るのに単調な作業が多い 2. ⽬目的のレポートを確認するのに多くの画⾯面遷移が必要 3. 顧客のニーズを満たすカスタマイズ・カテゴライズが必要 4. 時には複数のデータテーブルをDLし,Excel で再集計が必要 5. Web UI からの操作ではかゆい所に⼿手が届かない ※これは多くの分析ツール(Site Catalyst な ど)に共通する悩み
  4. 4. 4 トレジャーデータ×Tableauの提案 1. 毎回定型のレポートを作るのに単調な作業が多い → 定型レポーティングは完全⾃自動化する ポイント1:Treasure の Tableau への Result Push機能 ポイント2:Tableau Server への直接データ更更新(Desktop不不要) データ保管 データ分析 c Direct Tableau Server 全件データ バッチ Result Push Tableau Server 上の ソースデータを更更新
  5. 5. 5 トレジャーデータ×Tableauの提案 2. ⽬目的のレポートを確認するのに多くの画⾯面遷移が必要 → 各々の画⾯面のダッシュボードを1つのダッシュボードにまとめる ポイント1:Tableau のダッシュボードによるチャート・テーブル・ 説明・考察を⽤用いた⾃自由なレイアウト機能 ↑従来画⾯面の異異なるチャートを1つに集約
  6. 6. 6 トレジャーデータ×Tableauの提案 3. 顧客のニーズを満たすカスタマイズ・カテゴライズが必要 → 特定のイベントやID,複数条件の組み合わせによる結果表⽰示がイ ンタラクティブに可能。 ポイント1:Tableau のフィルター機能による抽出・ドリル ダウン,etc… ↑特定のカラム値の複数の組み合わせによる抽出。
  7. 7. 7 トレジャーデータ×Tableauの提案 4. 時には複数のデータテーブルをDLし,Excel で再集計が必要 → 複数のデータの統合・演算・統計処理理が Treasure × Tableauで容易易に実現 ポイント1:Treasure 上で複数のテーブルに対して ( Union, Join ) → 集計 → Tableau 書き出し が可能 マスタテーブル群 ⽣生データ群 1st Summary Table Result Push 2次集計 Join, Union + 集計処理理 2nd Summary Table ライブ接続 外部(オーディエ ンス)データ群
  8. 8. 8 トレジャーデータ×Tableauの提案 5. Web UI からの操作ではかゆい所に⼿手が届かない → 「⽣生」データを保持しているので,あらゆる所に⼿手が届く ポイント1:Treasure の⽣生データに対する集計処理理→書き出 しでWeb UIに縛られないあらゆる種類・組合せ・条件による 結果を参照できる Master Table Raw Data Table Bulk Import 様々なシステムの⽣生データ群
  9. 9. 9 トレジャーで実現可能な 分析アーキテクチャ事例例
  10. 10. 10 バッチ型 × アドホック型クエリ⽐比較 バッチ型クエリ(Hive) アドホック型クエリ(Presto) 言語 • HiveQL (SQL Like) • Prestgres (SQL Like) ケース • 大規模な中間処理データを受渡が生 じる並列処理に対して • 大規模なインプットでも,中間処理・結果 データが小さくて済む並列処理に対して 計算モデル • Map Reduce • MPP (Massively Parallel Processor) 業務領域 • KPIダッシュボード • 定型レポーティング • インタラクティブなデータ処理 • 特定のユーザーの履歴抽出などのサポー ティング業務 相性の良い  可視化ツール • Metric Insights • Tableau Server • Chartio • Tableau Desktop トレジャー  料金プラン • Basic Plan • Premium Plan
  11. 11. 11 分析スキームで⾒見見るクエリエンジンの違い (分析のPDCAに必要な2つの分析エンジンを両⽅方とも提供) Plan (施策設計) Check (効果測定) Do (施策実⾏行行) Act (原因探索索) バッチ型分析 + KPIダッシュボード ・チューニング済Hadoop ・⼤大量量データが得意 KPI ・定義済指標の最新データ表⽰示 ・メンバー全員で共有 アドホック型分析 + BIツール / 統計ツール ・Treasure Query Accelerator ・⾮非常に⾼高速 ・任意の軸でアドホックに分析 ・原因の可視化
  12. 12. 12 トレジャーで可能な分析アーキテクチャ(全体図) Webログ Appログ センサー スマフォ Appログ RDBMS CRM ERP POS 小さい CSV/TSV Inside DB Direct Data mart CSV / TSV Raw SQL KPI BIツール等 BIツール等 統計ツール等 ブラウザ SQ L データマート CSV / TSV Metric Insights etc Tableau, MotionBoard SAS, SPSS, R etc… 全件データ データマート バッチ バッチ アドホック アドホック JDBC/ ODBC REST API JDBC/ ODBC REST API バッチ バッチ Treasure Agent iOS /Android SDK TD Toolbelt Web Browser Streaming Mobile Legacy Trial Power BI, Excel, QlikView データ収集 データ保管 データ分析
  13. 13. 13 a. バッチクエリ × Tableau Server Webログ Appログ センサー スマフォ Appログ RDBMS CRM ERP POS 小さい CSV/TSV c Direct Tableau Server 全件データ バッチ Result Push Treasure Agent iOS /Android SDK TD Toolbelt Web Browser Streaming Mobile Legacy Trial データ収集 データ保管 データ分析 Tableau Server 上の ソースデータを更更新 Treasure から Tableau Server に対してのResult Push機能により, 定型レポートの⾃自動更更新が可能。
  14. 14. Webログ Appログ センサー スマフォ Appログ RDBMS CRM ERP POS 小さい CSV/TSV KPI Inside DB Metric Insights 全件データ バッチ JDBC/ ODBC REST API Treasure Agent iOS /Android SDK TD Toolbelt Web Browser Streaming Mobile Legacy Trial データ収集 データ保管 データ分析 14 aʼ’. バッチクエリ × Metric Insights OEM提供の Metric Insights(MI) では,MI上の1つ1つのウィジェットに バッチ処理理を記述とスケジューリングが可能。
  15. 15. 15 b. バッチクエリ × Data Mart × Tableau Server/Desktop Webログ Appログ センサー スマフォ Appログ RDBMS CRM ERP POS 小さい CSV/TSV Treasure Agent iOS /Android SDK TD Toolbelt Web Browser Streaming Mobile Legacy Trial データ収集 データ保管 データ分析 ライブ接続 全件データ データマート バッチ アドホック フロントエンドからのアクセスをデータマートに限定することで⾼高速なレスポンスを実現。
  16. 16. 16 c. アドホッククエリ × Tableau Desktop/Server Webログ Appログ センサー スマフォ Appログ RDBMS CRM ERP POS 小さい CSV/TSV Treasure Agent iOS /Android SDK TD Toolbelt Web Browser Streaming Mobile Legacy Trial データ収集 データ保管 データ分析 全件データ バッチ データマート ライブ接続 アドホック アドホック アドホッククエリでは,Tableau からトレジャーストレージに直接接続可能。
  17. 17. 17 cʼ’. アドホッククエリ × Chartio Webログ Appログ センサー スマフォ Appログ RDBMS CRM ERP POS 小さい CSV/TSV Treasure Agent iOS /Android SDK TD Toolbelt Web Browser Streaming Mobile Legacy Trial データ収集 データ保管 データ分析 BIツール等 Direct Chartio 全件データ バッチ データマート アドホック JDBC/ ODBC REST API アドホック Chart.io はライトウェイトなWebベースのBI。 https://chartio.com/
  18. 18. 18 Tableau 紹介
  19. 19. 19 Tableau 製品群 • Tableau Desktop • Tableau Reader • Tableau Server • Tableau Public
  20. 20. 20 Tableau Server Tableau Server は Desktop で作成したインタラクティブなレポート を Web を通じてPC, iPad, Smart Phone などから参照できるサー バー。 Create Publish Tableau Desktop Tableau Server Access Edit PC Browser Android iPad Desktop
  21. 21. 21 Tableau で可能なデータ表現 a. テキストテーブル(text tables) b. ヒートマップ(heat maps) c. ハイライトテーブル(highlight tables) d. 記号マップ(symbol maps) e. ⾊色塗りマップ(filled maps) f. 円グラフ(pie charts) g. ⽔水平棒グラフ(horizontal bars) h. 積み上げ棒グラフ(stacked bars) i. 並列列棒グラフ(side-‐‑‒by-‐‑‒side bars) j. ツリーマップ(tree maps) k. 円ビュー(circle views) l. 並列列円(side-‐‑‒by-‐‑‒side circles)
  22. 22. 22 Tableau で可能なデータ表現 a. 線グラフ:連続(lines continuous) b. 線グラフ:不不連続(lines discrete) c. ⼆二重線(dual lines) d. エリアチャート:連続(area charts continuous) e. エリアチャート:不不連続(area charts discrete) f. 2つの組み合わせ(dual combination) g. 散布図(scatter plots) h. ヒストグラム(histgram) i. 箱ヒゲ図(box-‐‑‒and-‐‑‒whisker plot) j. ガントビュー(gantt view) k. ブレットグラフ(bullet graphs) l. パックバブル(packed bubbles)

×