Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

AudienceOneにおけるTreasureData活用方法(TD Tech Talk 20180523)

975 views

Published on

Published in: Technology
  • Login to see the comments

AudienceOneにおけるTreasureData活用方法(TD Tech Talk 20180523)

  1. 1. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) TD Tech Talk 2018.5.23 AudienceOneにおける TreasureData活用方法 デジタル・アドバタイジング・コンソーシアム株式会社 河原 亮介
  2. 2. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 自己紹介 2 • 河原 亮介(かわはら りょうすけ) • デジタル・アドバタイジング・コンソーシアム(DAC) • プロダクト開発本部 シニアマネージャー • 主な業務: AudienceOne(DMP)の開発責任者 • TreasureData歴: 約5年半
  3. 3. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 本日話すこと 3 • DACについて • DACにおけるTD利用状況 • AudienceOneにおけるTD活用方法 • AudienceOneとは • ワークフロー / TD以外のデータベースサービス / デ ータモニタリング
  4. 4. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 会社紹介 DACって? 4
  5. 5. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 5 DACは、インターネット広告の黎明期にあたる1996年の設立以来、 市場の形成に携わり、業界をリードしてきました。 媒体社や広告会社などのパートナー企業に向けて、広告枠の仕入れ・販売、 プランニング、レポーティングまでトータルに支援するメディアレップ、 国内最大規模のトレーディングデスクによる広告運用、 高い技術力を誇るソリューション開発など、 デジタルマーケティングにおける広告を基点としたさまざまなサービスを提供しています。 デジタル・アドバタイジング・コンソーシアム 1996年 設立 40億円 資本金 2,083億円 売上高(DACHD連結) 1,812名 役職員数(DAC連結) ※2017年3月末現在/連結※D.A.コンソーシアムホールディングス 2018年3月期/連結
  6. 6. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 6 DACは、インターネット広告の黎明期にあたる1996年の設立以来、 市場の形成に携わり、業界をリードしてきました。 媒体社や広告会社などのパートナー企業に向けて、広告枠の仕入れ・販売、 プランニング、レポーティングまでトータルに支援するメディアレップ、 国内最大規模のトレーディングデスクによる広告運用、 高い技術力を誇るソリューション開発など、 デジタルマーケティングにおける広告を基点としたさまざまなサービスを提供しています。 デジタル・アドバタイジング・コンソーシアム 1996年 設立 40億円 資本金 2,083億円 売上高(DACHD連結) 1,812名 役職員数(DAC連結) ※2017年3月末現在/連結※D.A.コンソーシアムホールディングス 2018年3月期/連結 要するに インターネット広告の会社です
  7. 7. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) DACが提供しているソリューションサービス 7 アドサーバー 広 告 会 社 / 広 告 主 媒 体 社 プライベート DMP アクセス解析 ツール LPOツール 競合調査 ダッシュ ボード MAツール 広告主保有チャネル (オウンドメディア) パブリックDMP プランニング ダッシュボード トラッキング ソーシャル 広告管理 DSP SSP 業務管理 PMP 広告プランニング・ダッシュボード API連携 可視 化 統合データ セグメント連携 在庫管理・入稿管理・トラッキング 広告 配信 データ提供 DealID 発行 セ グ メ ン ト 配 信 情報 収集 データ 連携 オーディエンス 連携 トラッキング データ連携 広告配信 分析 データ データ 連携 データ 連携 データ 連携 データ 連携 データ 連携 広告 配信 進行 管理
  8. 8. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) DACが提供しているソリューションサービス 8 アドサーバー 広 告 会 社 / 広 告 主 媒 体 社 プライベート DMP アクセス解析 ツール LPOツール 競合調査 ダッシュ ボード MAツール 広告主保有チャネル (オウンドメディア) パブリックDMP プランニング ダッシュボード トラッキング ソーシャル 広告管理 DSP SSP 業務管理 PMP 広告プランニング・ダッシュボード API連携 可視 化 統合データ セグメント連携 在庫管理・入稿管理・トラッキング 広告 配信 データ提供 DealID 発行 セ グ メ ン ト 配 信 情報 収集 データ 連携 オーディエンス 連携 トラッキング データ連携 広告配信 分析 データ データ 連携 データ 連携 データ 連携 データ 連携 データ 連携 広告 配信 進行 管理 いろいろアドテクやってます
  9. 9. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) どれくらいTDを使っているのか 9
  10. 10. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) TreasureDataを利用しているサービス 10 アドサーバー 広 告 会 社 / 広 告 主 媒 体 社 プライベート DMP アクセス解析 ツール LPOツール 競合調査 ダッシュ ボード MAツール 広告主保有チャネル (オウンドメディア) パブリックDMP プランニング ダッシュボード トラッキング ソーシャル 広告管理 DSP SSP 業務管理 PMP 広告プランニング・ダッシュボード API連携 可視 化 統合データ セグメント連携 在庫管理・入稿管理・トラッキング 広告 配信 データ提供 DealID 発行 セ グ メ ン ト 配 信 情報 収集 データ 連携 オーディエンス 連携 トラッキング データ連携 広告配信 分析 データ データ 連携 データ 連携 データ 連携 データ 連携 データ 連携 広告 配信 進行 管理
  11. 11. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 数字で見るTreasureData利用状況 11 ユーザ数 200 Import レコード数 / 1日 80億 Job数 / 1日 15,000 ※ Hive/Presto/Deleteなどすべて 処理レコード数 / 1日 4兆 ※hive 300億 ※presto
  12. 12. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) AudienceOneにおける TD活用方法 12 ここからやっと本題
  13. 13. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) AudienceOneとは? 13
  14. 14. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 14 1. 統 合 2. 分 析 3. 捕 捉 4. 活 用 オフラインデータも含む1st Partyデータの 管理も可能。プライベートDMP / パブリッ クDMP両方の機能を担います。 ■ 自社サイトデータ収集 ■ CRMデータ連携機能 ■ 広告配信データの連携 UI提供に加え、データ解析士による高度な 分析サービスを提供。複雑化する顧客イン サイトの可視化を支援します。 ■ 興味関心分析・デモグラ属性分析 ■ 商圏分析 ■ R/F分析・重複分析 ■ インテント可視化・ジャーニー分析 セグメントを生成し顧客ごとに施策を最適 化。特許を有する高精度な推計・拡張技術 が効果の最大化を支援します。 ■ オーディエンス拡張機能 ■ 検索キーワード推定機能 ■ クロスデバイスマッチング機能 広告をはじめ,メールやメッセージ配信等 の各マーケティングチャネルへ連携し、統 合的なデータ活用を実現します。 ■ 広告配信連携機能 ■ メール・メッセージ配信ツール連携機能 ■ プライベートDMP連携機能 月間4.8億ユニークブラウザのcookieデータを保有するデータマネジメントプラットフォーム(DMP)で、広告出稿時に取得で きるデータ、webサイト、ソーシャル/CRMのデータなど様々なデータを収集し、用途に応じて利用する事が可能です。 ソリューションコンサルティング 自社内外のデータを統合 解析士による顧客分析 特許技術でのユーザー捕捉 主要チャネルを網羅 約4.8億UB分のcookie 約9,000万のモバイル広告ID 1兆レコードからなる膨大なデータを解析 国内最大級規模の オーディエンスデータを提供する データ・マネジメント・プラットフォーム
  15. 15. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 15 1. ワークフローの使い分け 2. TreasureData以外のデータベース使い分け 3. データのモニタリング/監視 AudienceOneにおける活用方法
  16. 16. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) データまわりのシステム構成 データフローを説明 16 その前に、
  17. 17. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) (データ解析用環境) 自社サービス データ 17 Webサイト CRMなどの 顧客データ アライアンスデータ (データモニタリング) レポート用DB セグメント見積用 複雑な計算・集計用 ・Luigi ・Treasure Workflow (ワークフロー管理)
  18. 18. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) (データ解析用環境) 自社サービス データ 18 Webサイト CRMなどの 顧客データ アライアンスデータ (データモニタリング) レポート用DB セグメント見積用 ・Luigi ・Treasure Workflow (ワークフロー管理) 複雑な計算・集計用
  19. 19. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 19 1. ワークフローの使い分け 2. TreasureData以外のデータベース使い分け 3. データのモニタリング/監視 AudienceOneにおける活用方法
  20. 20. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 20 AudienceOneにおけるデータ開発フロー 課題認識 データ解析/ アルゴリズム開 発 実証実験 (テスト配信) AudienceOneへ 実装
  21. 21. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 21 AudienceOneにおけるデータ開発フロー 課題認識 データ解析/ アルゴリズム開 発 実証実験 (テスト配信) AudienceOneへ 実装 Treasure Workflow Luigi
  22. 22. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 22 Treasure Workflow ・開発したデータが本当に有用かどうか試す実証実験などで利用 ・yamlで簡単にかけるのでSQLさえ書ければだれでもできる ・低コストで短期導入が可能 Luigi ・AudienceOneの機能として実装する場合に利用 ・複雑な依存関係も管理しやすい ・多いものだと7~8の集計を待ってから起動するものもある ・逆に1つの集計処理を70のバッチ処理が待っているものなんかもある
  23. 23. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 23 1. ワークフローの使い分け 2. TreasureData以外のデータベース使い分け 3. データのモニタリング/監視 AudienceOneにおける活用方法
  24. 24. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) (データ解析用環境) 自社サービス データ 24 Webサイト CRMなどの 顧客データ アライアンスデータ (データモニタリング) レポート用DB セグメント見積用 複雑な計算・集計用 ・Luigi ・Treasure Workflow (ワークフロー管理) ココ→
  25. 25. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) Treasure Data以外のデータベースとその利用方法 25 Redshift その1 - レポートデータ格納用 - AudienceOneのレポート画面から参照 - 集計数値のみ格納 - データ量多い(現状約110億レコード) →レポートの種類や軸が多く、過去データの保持期間も長いため
  26. 26. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) Treasure Data以外のデータベースとその利用方法 26 - セグメントサイズ(UU数)の見積もり用 - サンプリングしたデータを格納 - セグメント作成に使える軸・条件は多数 - 条件を細かく変えながら何度も見積もりを行うのでレイテンシーはで きるだけ低いほうがよい - 事前の集計はできない - ざっくりボリュームがわかればいいので精度はそこまで求められない ElasticSearch
  27. 27. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) Treasure Data以外のデータベースとその利用方法 27 - オーディエンス拡張(Lookalike)のモデリング・スコアリング用 - 元データは約40億レコード - AudienceOneでは個別にモデリングを実施 - オーディエンス拡張機能で作成されるセグメントは約4,000 → すべて個別のSQLで抽出する必要がある → 更新頻度は日次 Redshift その2
  28. 28. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 28 1. ワークフローの使い分け 2. TreasureData以外のデータベース使い分け 3. データのモニタリング/監視 AudienceOneにおける活用方法
  29. 29. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) モニタリングしている内容 29 • トレンド UU数の推移、比率(OS別, ブラウザ別) • データの精度 オーディエンス拡張のモデル精度 推定データの精度 • 急激な増加/減少、異常値
  30. 30. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) • トレンド UU数の推移、比率(OS別, 性年齢別) • データの精度 オーディエンス拡張のモデル精度 推定データの精度 • 急激な増加/減少、異常値 モニタリングしている内容 30 Spread sheet/GoogleAppsScript/Slack
  31. 31. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) データモニタリング 31 - データソースはBigQuery, TreasureData(Presto)を利用 ローデータに近いもの→BigQuery、集計されたもの→TD - re:dashで実現することで、データ解析チームやデータプラニング、オ ペレーションチームも参照可能 re:dash
  32. 32. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) データモニタリング 32 - hourly/daily/weeklyで特定のデータを集計しSpreadSheetへ出力 - AppsScriptで大幅な増加/減少などがあった際にSlackへ通知 - 異常を定義できる簡単なものだけ利用 人の目で見ないと判断できないものはre:dashでモニタリング SpreadSheet & GAS & Slack
  33. 33. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 【おまけ】モニタリング 33 弊社のTD利用者の中には非エンジニアも多く トンデモナイクエリが投げられることも・・・
  34. 34. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 【おまけ】モニタリング 34 GASでモニタリング TreasureData警察
  35. 35. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) まとめ(まとまってない) 35 • Treasure Workflowは非常に強力 • 適材適所 とはいえ、気持ちとしてはできるだけTDに寄せたい • TreasureData警察に休みはない
  36. 36. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 36 We are hiring! 既存システムの改善や新規サービス開発を行うプロダクトマネージャーや エンジニア募集してます http://www.dac.co.jp/recruit/product_development/index.html
  37. 37. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) ご清聴ありがとうございました

×