Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

tokyo_webmining_no51

9,235 views

Published on

データサイエンティストの憂鬱と、そこから思いついて実行したデータマートプロジェクトの話。詳細は↓
http://shoe116.hatenablog.com/entry/2016/04/04/084113

Published in: Engineering
  • Dating direct: ❤❤❤ http://bit.ly/2Q98JRS ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Dating for everyone is here: ❶❶❶ http://bit.ly/2Q98JRS ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

tokyo_webmining_no51

  1. 1. 分析用汎用データマートの作成と データサイエンティストの憂鬱 Tokyo Webmining No.51 @shoe116 0
  2. 2. 今日の内容 1. データ分析の価値は何で決まるか 2. データサイエンティストの憂鬱 3. どんなデータマートが“汎用”的? 4. 汎用データマート作成プロジェクトについて 1
  3. 3. about @shoe116 •広告系エンジニア→データ分析→分析基盤 •Python > Java > JavaScript >> C++ > English •No Music, No Life. • ストーンズ, パーフリ, TMGE, 斎藤和義, 大森靖子 •No Music, No Idol. • でんぱ組.inc, BiSH, Negicco •見てね-> http://shoe116.tumblr.com/ 2
  4. 4. #私を構成する9枚 3
  5. 5. 座右の銘 • 本質的な複雑さは単純に。 • 付随的な複雑さは取り除く • Don’t Repeat Your Self 4
  6. 6. 0. はじめに 5
  7. 7. データの利活用の流れ 1. logを取る 2. logをまとめて整理してdataとして保存する 3. dataから、目的を持った”datamart”を作る 4. 作ったdatamartを分析したり学習したりする 6
  8. 8. logとdataとdatamart 7 log data datamart
  9. 9. みんなが知っている事実 • logはそのままではゴミと変わらない • dataの目的は保存であり、分析しにくい • 個々の分析は「datamart」の設計から始まる 8
  10. 10. みんなが忘れがちなこと • 家計簿(datamart)から改善を提案することは 誰でもできる • レシートから家計簿を作成するのは死ぬほど 面倒 9
  11. 11. 1. データ分析の価値 10
  12. 12. データ分析の価値は何で決まる? 11
  13. 13. データ分析の価値は何で決まる? • 分析結果を利用した判断/行動が創出する価 値がその分析の価値 • アクションにつながらない分析 = 価値がない • PDCAサイクルで、分析が役立つのはPとC。 価値を決めるのはDとA。 12
  14. 14. 2. データサイエンティストの憂鬱 13
  15. 15. 開発と比較して辛い点 • 「顧客が本当に必要だったもの」が難しい • 技術的資産がたまりにくい • 「価値の進捗」が顧客から見えにくい 14
  16. 16. 顧客が本当に必要だったもの 15
  17. 17. 技術的資産がたまりにくい • 開発でいう「プロトタイピング」的である (速度 >> 完成度・汎用性) • 「リリース」「保守」という概念がなく、リファクタ リングのタイミングも少ない • そもそも「技術的資産」という感覚を持ちにくい (次いつ使うかわからない、きっと使わない) 16
  18. 18. 「価値の進捗」が見えにくい • 顧客に価値が見えないデータ加工が延々続く • 試行錯誤を繰り返す作業 17 時間 顧客から見える価値 要件定義 データ準備とデータ加工 分析
  19. 19. 3. 汎用的なデータマート? 18
  20. 20. 少しでも憂鬱を解消するために • 「とりあえず価値を出す」を早くしたい • アウトプットのより近くで試行錯誤したい 19 データ アウトプット 顧客のニーズ
  21. 21. 少しでも憂鬱を解消するために • 「とりあえず価値を出す」を早くしたい • アウトプットのより近くで試行錯誤したい 20 データ アウトプット 顧客のニーズ汎用データマート
  22. 22. 何が「汎用」なのか • 汎用的な処理を事前にやることに注力 • 全員が、そのデータマートから分析を始める • 「使い方」や「目的」は汎用にはできない • 目的を問わず使いやすい中間データを作る 21
  23. 23. 処理の汎用化:集計 様々な集計を事前にやっておく 22 cookie timestamp word1 word2 cookie hourly cookie daily cookie weekly word1 word2 word1 word2 word1 word2 count count count
  24. 24. 処理の汎用化:ETL 「だいたいやることになる処理」はやっておく 23 cookie timestamp cookie daily cookie weekly cookie monthly word word word word count count count cookie hourly cookie daily cookie weekly word1 word2 word1 word2 word1 word2 count count count cookie timestamp word1 word2 ETL: Extract, Transform and Load
  25. 25. やってよかったこと • データ処理の確認作業が減った • 「すぐ使える」と同じくらい「質が担保されている」 ことは重要 • 技術的資産がたまりやすい • 全員が共通のデータマートから処理を行うので、 クエリやノウハウが使いまわせる • 案件初期段階で、顧客に「価値」が見える 24
  26. 26. よくなかったこと • データ量が増える • データ処理量が増える • 「情報量」自体は増えない • 作ってもあんまり使われないデータがあるわり に消そうとすると怒られる 25
  27. 27. まとめ • データ分析は log -> data -> datamart • 分析の価値は、DoとActionで決まる • システム開発と比べて、データ分析は辛い面 がある • 「すぐ使える」と同じくらい「質が担保される」が 重要 26

×