Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方

1,469 views

Published on

2017年10月10日開催の『データ分析基盤構築入門』出版記念イベントでの発表スライドです。ログ収集には欠かせないFluentdだけでなく、データ分析基盤のデータ処理ワークフローを支えるDigdagとEmbulkの活用方法もまとまっている書籍です。

https://www.amazon.co.jp/dp/477419218X

Published in: Technology
  • Be the first to comment

Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方

  1. 1. page 2
  2. 2. page Fluentd 6 rewrite-tag-filter geoip mysql-replicator munin twitter anonymizer mysql-query gamobile watch-process twilio sentry feedly
  3. 3. page 7
  4. 4. page 8 2017 9
  5. 5. page 9 

  6. 6. page 2017 9 10 

  7. 7. page 11
  8. 8. page 12
  9. 9. page 13 Fluentd 328 Embulk 202
  10. 10. page 14 Amazon 1
  11. 11. page 15
  12. 12. page 16 Amazon
  13. 13. page 
 
 17
  14. 14. page 18 Fluentd Fluentd No.1 Fluentd Digdag Embulk
  15. 15. page 19
  16. 16. page 20 !
  17. 17. page 21 Web Fluentd Fluentd Fluentd Elasticsearch Kibana Fluentd page_type: device_type: PC, SP, MB utm_source : URL
  18. 18. page 22 1
  19. 19. page 23 SQL ID ID ID
  20. 20. page 24 !
  21. 21. page 25 SQL KPI 
 2 Fluentd 
 Embulk&Digdag
  22. 22. page 26 Fluentd v0.12 Kibana Digdag Embulk Fluentd Embulk Gihyo Digital Publishing PDF
  23. 23. page Thanks! 27

×