New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User Group Tokyo 1st

2,432 views

Published on

Published in: Technology
0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,432
On SlideShare
0
From Embeds
0
Number of Embeds
28
Actions
Shares
0
Downloads
0
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide

New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User Group Tokyo 1st

  1. 1. New Approach to Data Analysis System “Tableau + TreasureData” 2014/01/30 Takaya Imai, BizMobile inc. at Tableau User Group Tokyo 1st
  2. 2. My Profile
  3. 3. My Profile
  4. 4. BizMobile inc. ● ● ● ● ● B2B MDM(Mobile Device Management) Technology Oriented BYOD COPE
  5. 5. 視点 技術的視点でのお話しをします。 どのような見せ方をしてデータを活用していくかに ついては他の方が話をされるので、この点には一 切触れません。
  6. 6. 対象とする方 ● データをできるだけ一カ所に集約したい。
  7. 7. 対象とする方 ● 一カ所に集めるとデータサイズが増大するので 集計処理に時間がかかる
  8. 8. 対象とする方 ● なので、通常日次バッチ処理で日単位に集約し たデータを中間データベースにinsertして、分 析処理時間を軽減
  9. 9. 対象とする方 ● でも、中間データベースは管理が面倒であった り、別の障害点になってしまうのでできれば置き たくない
  10. 10. このような方に新しい選択肢
  11. 11. Tableau + TreasureData
  12. 12. TreasureData ● td-agent(fluentd)をinstallすれば簡単にリアル タイムにログ集約可能 ● かなり前のデータでも取り出しやすい ● データ投入は初期費用0円で始められる
  13. 13. でも、Tableauとの相性は? ● TreasureDataはHadoopベースなので、バッチ 的にしか使えず1回のクエリの返答に時間がか かる... ● Tableauが持つインタラクティブ性をうまく活用で きない...
  14. 14. 2013年12月に新しく発表された TresureDataの新サービス
  15. 15. Treasure Query Accelerator (TQA)
  16. 16. よくある中間DBモデル
  17. 17. TreasureDataを使ったモデル
  18. 18. Tableau+TreasureDataの利点 ● td-agent(fluentd)をinstallすれば簡単にリアル タイムにログ集約可能 ● かなり前のデータでも取り出しやすい ● データ投入は初期費用0円で始められる ● 障害点を減らせる ● 日次バッチスケジュールの調整負荷の減少 ● 分析に入れるまでの時間の短縮
  19. 19. Tableau+TreasureDataの制限 ● tdagent(fluentd)でデータを送る際にはjsonの 非構造化データでよいが、Treasure Query Acceleratorを使うにはスキーマ指定が必要 ● クエリの作り方によっては高速化されるものとさ れないものがある ● サービスが開始されたばかりなため、もう少しノウ ハウの蓄積が必要
  20. 20. まとめ 簡単に生データの一元化ができるTreasureData に、Tableauから簡単に繋げるので、これまで以上 にデータ活用の幅が広がると期待しています。
  21. 21. ご清聴ありがとうございました。

×