トレジャーデータとTableau実現する自動レポーティング

1. 1
トレジャーデータ株式会社
2014/10
Takahiro Inoue (Chief Data Scientist)
taka@treasure-data.com
トレジャーデータとTableau
で実現する⾃自動レポーティング

2. 2
Treasure × Tableau Reporting 紹介

3. 3
現状のレポーティング業務の悩み
1. 毎回定型のレポートを作るのに単調な作業が多い
2. ⽬目的のレポートを確認するのに多くの画⾯面遷移が必要
3. 顧客のニーズを満たすカスタマイズ・カテゴライズが必要
4. 時には複数のデータテーブルをDLし，Excel で再集計が必要
5. Web UI からの操作ではかゆい所に⼿手が届かない
※これは多くの分析ツール（Site Catalyst な
ど）に共通する悩み

4. 4
トレジャーデータ×Tableauの提案
1. 毎回定型のレポートを作るのに単調な作業が多い
→ 定型レポーティングは完全⾃自動化する
ポイント１：Treasure の Tableau への Result Push機能
ポイント２：Tableau Server への直接データ更更新（Desktop不不要）
データ保管 データ分析
c
Direct
Tableau
Server
全件データ
バッチ
Result Push
Tableau Server 上の
ソースデータを更更新

5. 5
トレジャーデータ×Tableauの提案
2. ⽬目的のレポートを確認するのに多くの画⾯面遷移が必要
→ 各々の画⾯面のダッシュボードを１つのダッシュボードにまとめる
ポイント１：Tableau のダッシュボードによるチャート・テーブル・
説明・考察を⽤用いた⾃自由なレイアウト機能
↑従来画⾯面の異異なるチャートを１つに集約

6. 6
トレジャーデータ×Tableauの提案
3. 顧客のニーズを満たすカスタマイズ・カテゴライズが必要
→ 特定のイベントやID，複数条件の組み合わせによる結果表⽰示がイ
ンタラクティブに可能。
ポイント１：Tableau のフィルター機能による抽出・ドリル
ダウン，etc…
↑特定のカラム値の複数の組み合わせによる抽出。

7. 7
トレジャーデータ×Tableauの提案
4. 時には複数のデータテーブルをDLし，Excel で再集計が必要
→ 複数のデータの統合・演算・統計処理理が
Treasure × Tableauで容易易に実現
ポイント１：Treasure 上で複数のテーブルに対して
( Union, Join ) → 集計 → Tableau 書き出し が可能
マスタテーブル群
⽣生データ群
1st Summary
Table
Result Push
2次集計
Join, Union
+ 集計処理理
2nd Summary
Table
ライブ接続
外部（オーディエ
ンス）データ群

8. 8
トレジャーデータ×Tableauの提案
5. Web UI からの操作ではかゆい所に⼿手が届かない
→ 「⽣生」データを保持しているので，あらゆる所に⼿手が届く
ポイント１：Treasure の⽣生データに対する集計処理理→書き出
しでWeb UIに縛られないあらゆる種類・組合せ・条件による
結果を参照できる
Master
Table
Raw Data
Table
Bulk
Import
様々なシステムの⽣生データ群

9. 9
トレジャーで実現可能な
分析アーキテクチャ事例例

10. 10
バッチ型 × アドホック型クエリ⽐比較
バッチ型クエリ（Hive） アドホック型クエリ（Presto）
言語 • HiveQL (SQL Like) • Prestgres (SQL Like)
ケース • 大規模な中間処理データを受渡が生
じる並列処理に対して
• 大規模なインプットでも，中間処理・結果
データが小さくて済む並列処理に対して
計算モデル • Map Reduce • MPP (Massively Parallel Processor)
業務領域 • KPIダッシュボード
• 定型レポーティング
• インタラクティブなデータ処理
• 特定のユーザーの履歴抽出などのサポー
ティング業務
相性の良い
可視化ツール
• Metric Insights
• Tableau Server
• Chartio
• Tableau Desktop
トレジャー
料金プラン • Basic Plan • Premium Plan

11. 11
分析スキームで⾒見見るクエリエンジンの違い
（分析のPDCAに必要な２つの分析エンジンを両⽅方とも提供）
Plan
（施策設計）
Check
（効果測定）
Do
（施策実⾏行行）
Act
（原因探索索）
バッチ型分析
＋
KPIダッシュボード
・チューニング済Hadoop
・⼤大量量データが得意
KPI
・定義済指標の最新データ表⽰示
・メンバー全員で共有
アドホック型分析
＋
BIツール / 統計ツール
・Treasure Query Accelerator
・⾮非常に⾼高速
・任意の軸でアドホックに分析
・原因の可視化

12. 12
トレジャーで可能な分析アーキテクチャ（全体図）
Webログ
Appログ
センサー
スマフォ
Appログ
RDBMS
CRM
ERP
POS
小さい
CSV/TSV
Inside DB
Direct
Data mart
CSV / TSV
Raw SQL
KPI
BIツール等
BIツール等
統計ツール等
ブラウザ
SQ
L
データマート
CSV / TSV
Metric Insights
etc
Tableau,
MotionBoard
SAS, SPSS,
R etc…
全件データ
データマート
バッチ
バッチ
アドホック
アドホック
JDBC/
ODBC
REST API
JDBC/
ODBC
REST API
バッチ
バッチ
Treasure
Agent
iOS /Android
SDK
TD Toolbelt
Web
Browser
Streaming
Mobile
Legacy
Trial
Power BI,
Excel,
QlikView
データ収集 データ保管 データ分析

13. 13
a. バッチクエリ × Tableau Server
Webログ
Appログ
センサー
スマフォ
Appログ
RDBMS
CRM
ERP
POS
小さい
CSV/TSV
c
Direct
Tableau
Server
全件データ
バッチ
Result Push
Treasure
Agent
iOS /Android
SDK
TD Toolbelt
Web
Browser
Streaming
Mobile
Legacy
Trial
データ収集 データ保管 データ分析
Tableau Server 上の
ソースデータを更更新
Treasure から Tableau Server に対してのResult Push機能により，
定型レポートの⾃自動更更新が可能。

14. Webログ
Appログ
センサー
スマフォ
Appログ
RDBMS
CRM
ERP
POS
小さい
CSV/TSV
KPI Inside DB
Metric Insights
全件データ
バッチ JDBC/
ODBC
REST API
Treasure
Agent
iOS /Android
SDK
TD Toolbelt
Web
Browser
Streaming
Mobile
Legacy
Trial
データ収集 データ保管 データ分析
14
aʼ’. バッチクエリ × Metric Insights
OEM提供の Metric Insights（MI） では，MI上の1つ1つのウィジェットに
バッチ処理理を記述とスケジューリングが可能。

15. 15
b. バッチクエリ × Data Mart
× Tableau Server/Desktop
Webログ
Appログ
センサー
スマフォ
Appログ
RDBMS
CRM
ERP
POS
小さい
CSV/TSV
Treasure
Agent
iOS /Android
SDK
TD Toolbelt
Web
Browser
Streaming
Mobile
Legacy
Trial
データ収集 データ保管 データ分析
ライブ接続
全件データ データマート
バッチ
アドホック
フロントエンドからのアクセスをデータマートに限定することで⾼高速なレスポンスを実現。

16. 16
c. アドホッククエリ × Tableau Desktop/Server
Webログ
Appログ
センサー
スマフォ
Appログ
RDBMS
CRM
ERP
POS
小さい
CSV/TSV
Treasure
Agent
iOS /Android
SDK
TD Toolbelt
Web
Browser
Streaming
Mobile
Legacy
Trial
データ収集 データ保管 データ分析
全件データ
バッチ データマート
ライブ接続
アドホック
アドホック
アドホッククエリでは，Tableau からトレジャーストレージに直接接続可能。

17. 17
cʼ’. アドホッククエリ × Chartio
Webログ
Appログ
センサー
スマフォ
Appログ
RDBMS
CRM
ERP
POS
小さい
CSV/TSV
Treasure
Agent
iOS /Android
SDK
TD Toolbelt
Web
Browser
Streaming
Mobile
Legacy
Trial
データ収集 データ保管 データ分析
BIツール等 Direct
Chartio
全件データ
バッチ データマート アドホック
JDBC/
ODBC
REST API
アドホック
Chart.io はライトウェイトなWebベースのBI。 https://chartio.com/

18. 18
Tableau 紹介

19. 19
Tableau 製品群
• Tableau Desktop
• Tableau Reader
• Tableau Server
• Tableau Public

20. 20
Tableau Server
Tableau Server は Desktop で作成したインタラクティブなレポート
を Web を通じてPC, iPad, Smart Phone などから参照できるサー
バー。
Create Publish
Tableau Desktop Tableau Server
Access Edit
PC Browser Android
iPad
Desktop

21. 21
Tableau で可能なデータ表現
a. テキストテーブル(text tables)
b. ヒートマップ(heat maps)
c. ハイライトテーブル(highlight tables)
d. 記号マップ(symbol maps)
e. ⾊色塗りマップ(filled maps)
f. 円グラフ(pie charts)
g. ⽔水平棒グラフ(horizontal bars)
h. 積み上げ棒グラフ(stacked bars)
i. 並列列棒グラフ(side-‐‑‒by-‐‑‒side bars)
j. ツリーマップ(tree maps)
k. 円ビュー(circle views)
l. 並列列円(side-‐‑‒by-‐‑‒side circles)

22. 22
Tableau で可能なデータ表現
a. 線グラフ：連続(lines continuous)
b. 線グラフ：不不連続(lines discrete)
c. ⼆二重線(dual lines)
d. エリアチャート：連続(area charts continuous)
e. エリアチャート：不不連続(area charts discrete)
f. 2つの組み合わせ(dual combination)
g. 散布図(scatter plots)
h. ヒストグラム(histgram)
i. 箱ヒゲ図(box-‐‑‒and-‐‑‒whisker plot)
j. ガントビュー(gantt view)
k. ブレットグラフ(bullet graphs)
l. パックバブル(packed bubbles)