Submit Search
Upload
アドネットワークのデータ解析チームを支える技術
•
49 likes
•
25,463 views
hagino 3000
Follow
PyConJP 2015にて発表 https://pycon.jp/2015/ja/schedule/presentation/61/
Read less
Read more
Technology
Report
Share
Report
Share
1 of 48
Download now
Download to read offline
Recommended
パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN
パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN
Yahoo!デベロッパーネットワーク
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
shakezo
Amebaにおけるレコメンデーションシステムの紹介
Amebaにおけるレコメンデーションシステムの紹介
cyberagent
Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のこと
Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のこと
Naoto Tamiya
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
Tetsutaro Watanabe
Retty recommendation project
Retty recommendation project
Jiro Iwanaga
マイクロサービスとABテスト
マイクロサービスとABテスト
圭輔 大曽根
論文紹介@ Gunosyデータマイニング研究会 #97
論文紹介@ Gunosyデータマイニング研究会 #97
圭輔 大曽根
Recommended
パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN
パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN
Yahoo!デベロッパーネットワーク
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
shakezo
Amebaにおけるレコメンデーションシステムの紹介
Amebaにおけるレコメンデーションシステムの紹介
cyberagent
Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のこと
Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のこと
Naoto Tamiya
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
Tetsutaro Watanabe
Retty recommendation project
Retty recommendation project
Jiro Iwanaga
マイクロサービスとABテスト
マイクロサービスとABテスト
圭輔 大曽根
論文紹介@ Gunosyデータマイニング研究会 #97
論文紹介@ Gunosyデータマイニング研究会 #97
圭輔 大曽根
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
圭輔 大曽根
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
Tetsutaro Watanabe
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Nagato Kasaki
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
Tetsutaro Watanabe
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
Yahoo!デベロッパーネットワーク
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
Tetsutaro Watanabe
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
Yahoo!デベロッパーネットワーク
Sano hmm 20150512
Sano hmm 20150512
Masakazu Sano
PyData Tokyo Tutorial & Hackathon #1
PyData Tokyo Tutorial & Hackathon #1
Akira Shibata
データファースト開発
データファースト開発
Katsunori Kanda
記事分類における教師データおよびモデルの管理
記事分類における教師データおよびモデルの管理
圭輔 大曽根
hivemallを使って4日間で性別推定した話
hivemallを使って4日間で性別推定した話
eventdotsjp
[Japan Tech summit 2017] MAI 005
[Japan Tech summit 2017] MAI 005
Microsoft Tech Summit 2017
kukai: 省エネ世界2位のディープラーニング・スパコン
kukai: 省エネ世界2位のディープラーニング・スパコン
Yahoo!デベロッパーネットワーク
『アジャイルデータサイエンス』1章 理論
『アジャイルデータサイエンス』1章 理論
Hisao Soyama
グロースハック なぜ我々は無意味な施策を打ってしまうのか
グロースハック なぜ我々は無意味な施策を打ってしまうのか
Yahoo!デベロッパーネットワーク
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
モバイルゲームのためのデータ分析
モバイルゲームのためのデータ分析
AtsushiTakada1
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
Koji Yoshida
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
統合キャンペーン管理プラットフォーム概要
統合キャンペーン管理プラットフォーム概要
Go Sugihara
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!デベロッパーネットワーク
More Related Content
What's hot
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
圭輔 大曽根
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
Tetsutaro Watanabe
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Nagato Kasaki
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
Tetsutaro Watanabe
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
Yahoo!デベロッパーネットワーク
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
Tetsutaro Watanabe
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
Yahoo!デベロッパーネットワーク
Sano hmm 20150512
Sano hmm 20150512
Masakazu Sano
PyData Tokyo Tutorial & Hackathon #1
PyData Tokyo Tutorial & Hackathon #1
Akira Shibata
データファースト開発
データファースト開発
Katsunori Kanda
記事分類における教師データおよびモデルの管理
記事分類における教師データおよびモデルの管理
圭輔 大曽根
hivemallを使って4日間で性別推定した話
hivemallを使って4日間で性別推定した話
eventdotsjp
[Japan Tech summit 2017] MAI 005
[Japan Tech summit 2017] MAI 005
Microsoft Tech Summit 2017
kukai: 省エネ世界2位のディープラーニング・スパコン
kukai: 省エネ世界2位のディープラーニング・スパコン
Yahoo!デベロッパーネットワーク
『アジャイルデータサイエンス』1章 理論
『アジャイルデータサイエンス』1章 理論
Hisao Soyama
グロースハック なぜ我々は無意味な施策を打ってしまうのか
グロースハック なぜ我々は無意味な施策を打ってしまうのか
Yahoo!デベロッパーネットワーク
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
モバイルゲームのためのデータ分析
モバイルゲームのためのデータ分析
AtsushiTakada1
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
Koji Yoshida
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
What's hot
(20)
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
#ibis2017 Description: IBIS2017の企画セッションでの発表資料
Sano hmm 20150512
Sano hmm 20150512
PyData Tokyo Tutorial & Hackathon #1
PyData Tokyo Tutorial & Hackathon #1
データファースト開発
データファースト開発
記事分類における教師データおよびモデルの管理
記事分類における教師データおよびモデルの管理
hivemallを使って4日間で性別推定した話
hivemallを使って4日間で性別推定した話
[Japan Tech summit 2017] MAI 005
[Japan Tech summit 2017] MAI 005
kukai: 省エネ世界2位のディープラーニング・スパコン
kukai: 省エネ世界2位のディープラーニング・スパコン
『アジャイルデータサイエンス』1章 理論
『アジャイルデータサイエンス』1章 理論
グロースハック なぜ我々は無意味な施策を打ってしまうのか
グロースハック なぜ我々は無意味な施策を打ってしまうのか
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
モバイルゲームのためのデータ分析
モバイルゲームのためのデータ分析
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Similar to アドネットワークのデータ解析チームを支える技術
統合キャンペーン管理プラットフォーム概要
統合キャンペーン管理プラットフォーム概要
Go Sugihara
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!デベロッパーネットワーク
20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用
20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用
MicroAd, Inc.(Engineer)
20141003 webマーケティングエンジニアリング
20141003 webマーケティングエンジニアリング
Innova Inc.
Ai の最新動向と今熱い chat bot による業務効率化
Ai の最新動向と今熱い chat bot による業務効率化
Katsuhiro Aizawa
ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術
Shohei Hido
[Japan Tech summit 2017] MAI 001
[Japan Tech summit 2017] MAI 001
Microsoft Tech Summit 2017
Digital marketing on AWS
Digital marketing on AWS
Yuta Imai
Tableau Conference On Tokyo 2015_ソーシャルメディアデータ活用の5つの戦略_Five Strategies Social ...
Tableau Conference On Tokyo 2015_ソーシャルメディアデータ活用の5つの戦略_Five Strategies Social ...
Nanae Matsushima
Dyna traceによるuxマネジメント
Dyna traceによるuxマネジメント
伸夫 森本
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
寛之 松浦
Building Software Reliability through Distributed Tracing.pdf
Building Software Reliability through Distributed Tracing.pdf
Shotaro Suzuki
Gmo media.inc dev ops of own way
Gmo media.inc dev ops of own way
Dai Utsui
Developpers Summit2015 Autumn 講演資料
Developpers Summit2015 Autumn 講演資料
BrainPad Inc.
海外向けコンテンツマーケティングについて《インフォキュービック・ジャパン》
海外向けコンテンツマーケティングについて《インフォキュービック・ジャパン》
Rohan Yamagishi
Goalist会社概要
Goalist会社概要
Goalist Co.,Ltd.
230405_Saleshub_AiDeal.pdf
230405_Saleshub_AiDeal.pdf
AtsushiYoshimura2
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Yahoo!デベロッパーネットワーク
Looops4uコンサルティング
Looops4uコンサルティング
株式会社ループス・コミュニケーションズ Looops Communications,Japan
アドテクを支える人と技術
アドテクを支える人と技術
Ransui Iso
Similar to アドネットワークのデータ解析チームを支える技術
(20)
統合キャンペーン管理プラットフォーム概要
統合キャンペーン管理プラットフォーム概要
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用
20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用
20141003 webマーケティングエンジニアリング
20141003 webマーケティングエンジニアリング
Ai の最新動向と今熱い chat bot による業務効率化
Ai の最新動向と今熱い chat bot による業務効率化
ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術
[Japan Tech summit 2017] MAI 001
[Japan Tech summit 2017] MAI 001
Digital marketing on AWS
Digital marketing on AWS
Tableau Conference On Tokyo 2015_ソーシャルメディアデータ活用の5つの戦略_Five Strategies Social ...
Tableau Conference On Tokyo 2015_ソーシャルメディアデータ活用の5つの戦略_Five Strategies Social ...
Dyna traceによるuxマネジメント
Dyna traceによるuxマネジメント
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
Building Software Reliability through Distributed Tracing.pdf
Building Software Reliability through Distributed Tracing.pdf
Gmo media.inc dev ops of own way
Gmo media.inc dev ops of own way
Developpers Summit2015 Autumn 講演資料
Developpers Summit2015 Autumn 講演資料
海外向けコンテンツマーケティングについて《インフォキュービック・ジャパン》
海外向けコンテンツマーケティングについて《インフォキュービック・ジャパン》
Goalist会社概要
Goalist会社概要
230405_Saleshub_AiDeal.pdf
230405_Saleshub_AiDeal.pdf
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Looops4uコンサルティング
Looops4uコンサルティング
アドテクを支える人と技術
アドテクを支える人と技術
More from hagino 3000
スパース性に基づく機械学習 2章 データからの学習
スパース性に基づく機械学習 2章 データからの学習
hagino 3000
Cloud DatalabとBigQueryを使ったアドホックデータ解析
Cloud DatalabとBigQueryを使ったアドホックデータ解析
hagino 3000
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
Secure Code for Interactive Programming
Secure Code for Interactive Programming
hagino 3000
ハイパフォーマンスブラウザネットワーキング 12章「HTTP 2.0」と現在の仕様
ハイパフォーマンスブラウザネットワーキング 12章「HTTP 2.0」と現在の仕様
hagino 3000
iOS WebView App
iOS WebView App
hagino 3000
Introduction of Leap Motion
Introduction of Leap Motion
hagino 3000
Where does my money go チーム発表
Where does my money go チーム発表
hagino 3000
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
hagino 3000
PRML ベイズロジスティック回帰
PRML ベイズロジスティック回帰
hagino 3000
ノンタッチUI時代とフロントエンドエンジニア (Using emotiv)
ノンタッチUI時代とフロントエンドエンジニア (Using emotiv)
hagino 3000
NUIとKinect
NUIとKinect
hagino 3000
今日からはじめるKinect Hack
今日からはじめるKinect Hack
hagino 3000
Introduction of Kinect Hacks
Introduction of Kinect Hacks
hagino 3000
JavaScriptとSalesforceとTwitterマーケティングな話をした時の資料
JavaScriptとSalesforceとTwitterマーケティングな話をした時の資料
hagino 3000
はじめてのChaos Proxy Viewer
はじめてのChaos Proxy Viewer
hagino 3000
HTML5を使ったウェブアプリケーションの高速化
HTML5を使ったウェブアプリケーションの高速化
hagino 3000
逃亡の勧め
逃亡の勧め
hagino 3000
Google App Engine で初めるServerSide JavaScript
Google App Engine で初めるServerSide JavaScript
hagino 3000
Extjs + Gears
Extjs + Gears
hagino 3000
More from hagino 3000
(20)
スパース性に基づく機械学習 2章 データからの学習
スパース性に基づく機械学習 2章 データからの学習
Cloud DatalabとBigQueryを使ったアドホックデータ解析
Cloud DatalabとBigQueryを使ったアドホックデータ解析
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
Secure Code for Interactive Programming
Secure Code for Interactive Programming
ハイパフォーマンスブラウザネットワーキング 12章「HTTP 2.0」と現在の仕様
ハイパフォーマンスブラウザネットワーキング 12章「HTTP 2.0」と現在の仕様
iOS WebView App
iOS WebView App
Introduction of Leap Motion
Introduction of Leap Motion
Where does my money go チーム発表
Where does my money go チーム発表
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
PRML ベイズロジスティック回帰
PRML ベイズロジスティック回帰
ノンタッチUI時代とフロントエンドエンジニア (Using emotiv)
ノンタッチUI時代とフロントエンドエンジニア (Using emotiv)
NUIとKinect
NUIとKinect
今日からはじめるKinect Hack
今日からはじめるKinect Hack
Introduction of Kinect Hacks
Introduction of Kinect Hacks
JavaScriptとSalesforceとTwitterマーケティングな話をした時の資料
JavaScriptとSalesforceとTwitterマーケティングな話をした時の資料
はじめてのChaos Proxy Viewer
はじめてのChaos Proxy Viewer
HTML5を使ったウェブアプリケーションの高速化
HTML5を使ったウェブアプリケーションの高速化
逃亡の勧め
逃亡の勧め
Google App Engine で初めるServerSide JavaScript
Google App Engine で初めるServerSide JavaScript
Extjs + Gears
Extjs + Gears
Recently uploaded
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Recently uploaded
(8)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
アドネットワークのデータ解析チームを支える技術
1.
アドネットワークのデータ 解析チームを支える技術 PyConJP 2015-10-10 Takashi Nishibayashi
(@hagino3000) 1
2.
お前誰よ ID: hagino3000 Takashi Nishibayashi Software
Engineer (Web/Mobile App) Data Scientist 見習い Shibuya.NI (休眠中)
3.
4.
話す事 立ちあがったばかりのデータ解析チームで何をしてきた か。どこでPythonを使ってきたか。使っていないか。
5.
話さない事 • 最適化問題の証明 • 広告ブロッカーについて •
同じ広告がしつこく表示されるのなんとかしたい
6.
1. Ad Networkとは 2.
データ解析チームの業務とPython 3. 分析基盤の構築 4. 調査・実験 5. レポート
7.
8.
Ad Networkとは • インターネットのディスプレイ広告領域において、 複数の広告主と複数のメディア(広告枠)を束ねて広 告を配信する仕組み •
メディアには収益をもたらし、かつ広告主のマーケ ティングを成功させるのが仕事。 • Zucks Ad Networkはスマートフォン用のバナー広 告に特化。現在はCPC(Cost Per Click)課金のみ。
9.
Zucks Ad Network 広告主
広告主 広告主 広告主 Web メディア Web メディア スマホ アプリ スマホ アプリ オーディエンス 入稿 広告配信 広告表示 CPC収益CPC課金 コンバージョン サイトへの流入 ゲームのインストールや課金
10.
1. Ad Networkとは 2.データ解析チームの業務とPython 3.
分析基盤の構築 4. 調査・実験 5. レポート
11.
データ解析チームのミッション • 配信ロジックの改良やデータ分析によってプロダク トの収益性を上げる事 • いい感じに配信できるような仕組みを作る事
12.
いい感じとは 広告主 他社よりも低いコストで優良な顧客が 得られる メディア 他社よりも多く広告収入が得られる オーディエンス 役に立つ・迷惑ではない 弊社
もうかる
13.
どの様な状態を目指すか • 広告主・配信業者・メディア・オーディエンス全体 の利益が最大化される状態 • 誰かが一人勝ちするような施策はまずい
14.
取り組む問題 情報の少ない新規キャンペーンについ てコンバージョン率を求める (クリック単価調節) マルチタスク学習・転移学習 広告枠と相性の良い広告を探す 多腕バンディット問題 人と相性の良い広告を予測する ロジスティック回帰 広告予算の有効活用
線形計画問題
15.
業務内容 • データ分析基盤の構築 • チーム用のAWSアカウントを作る所から運用まで •
データを使える様にする、取得するデータを増やす • 本番環境で検証しやすくする仕組み作り • 配信ロジックの差換、組み合わせ、枠指定適用 • 施策の検討 → 実験 → 実装 → リリース → 結果レポート 作成
16.
Pythonの使い所 • データの取りこみ、バッチ処理 • boto,
BigQuery Python • 調査・実験・レポート作成 • Jupyter Notebook, NumPy, SciPy, Pandas, Matplotlib, Cython • サーバープロビジョニング • Ansible
17.
Not Python • 広告配信サーバー
(Scala) • 広告表示スクリプト (JavaScript) • バッチ処理 (Gauche) • 管理画面 (PHP) • 計測サーバー (PHP)
18.
状況 • 解析チームは3人 • アドネットワーク全体ではエンジニア10人以上 •
チームができて半年程 • まだまだ坂を登り初めたばかり
19.
1. Ad Networkとは 2.
データ解析チームの業務とPython 3.分析基盤の構築 4. 調査・実験 5. レポート
20.
背景 • 何も無い所からスタート • 配信ログはS3に上がっているが…… •
簡単に見る方法は無い • データを見れるようにしないと仕事にならない
21.
方針 • とりあえずGoogle BigQueryに突っこむ •
最新のデータを使った調査実験をいつでも可能にする • 限られた人間が手で叩く程度ならBigQueryの利用金額 は気にならない • 配信システムに影響を与えないようにする • AWSのアカウントを分離し、S3経由でログを貰う • 雑に作ってまずは動かす • BigQuery周りは後々便利な仕組みが出てくると予想
22.
前処理 配信 サーバー 計測 サーバー ログ 計測 サーバー 配信 サーバー ログ S3 前処理 SNS トピック SQS キュー GCP Cloud Storage ログ BigQuery テーブル テーブル テーブル 解析チーム AWS既存AWS 通知 通知 この辺がPython 300GByte/day
23.
稼動後 • 取りこみサイズは300GByte/day程度 • インスタンスを増やせばデータ量増加には対応で きる。スケールアップでコア数増やしても良い •
台数増えてインスタンスの管理が嫌になったら Google AppEngineに引っ越せばいい • マルチコア全てを使いきれるプログラムは楽しい
24.
前処理 配信 サーバー 計測 サーバー ログ 計測 サーバー 配信 サーバー ログ S3 前処理 SNS トピック SQS キュー GCP 解析チーム AWS Cloud Storage ログ BigQuery テーブル テーブル テーブル 既存AWS 通知 通知 AppEngine 前処理 !Task Queue 通知
25.
稼動後にリリースされた物 • 便利そうな物が続々登場してた • Embulk •
BigQueryのUser Defined Function • Cloud Data Flow • Stream Insertの制限緩和
26.
プログラムから使う • pandas.io.gbq • 一瞬でPandasの世界にいける •
独自ラッパーを作成欲に勝てる (MongoDBのクエリは覚えられないがSQLを忘れる 事は流石に無い) • BigQuery Python • Pull RequestのReview/Mergeが速くて安心感がある
27.
28.
画面で使う • BigQuery標準のWebUI • Google
Spread Sheet + Apps Script • 定期的にクエリを投げてグラフを作ったり • クエリをセルに入力して実行 → 結果がシートに 張りつく物を用意しておく • 結果が共有できて便利
29.
分散処理基盤 • 機械学習タスクを日々回すフェーズになったら何ら かの分散処理基盤が必要になる e.g.
Hadoop • 時期を見て導入予定 • 人が少ないのでフルマネージドサービス狙い • Googleから何か出てくる気がする
30.
ログ回り • 使えるようにする仕組みが無いと仕事にならない • 小さく始めてチームの状況に合せて拡充していけ ば良さそう •
今はEC2で動かしてるけど、AppEngineか CloudDataFlowが気になっている インスタンスサイズとか数とか考える事を減らし たい。
31.
ログ回り (続き) • カジュアルに始めるならBigQuery超おすすめ •
取っていないデータは当然流れてこない • 欲しければ自らアプリケーションを弄って取れる ようにする • 検証のために配信に使ったロジックはログに出す
32.
1. Ad Networkとは 2.
データ解析チームの業務とPython 3. 分析基盤の構築 4.調査・実験 5. レポート
33.
Why 実験? • 問題が解けるかわからない •
期待する動作をするかわからない • 割に合う効果が出るかわからない • 本番システムの制約下で動くかわからない • 最適なパラメータを求めたい
34.
とりあえずJupyter Notebook • もはやこれが無いと仕事ができない体に •
Pythonに限らない • GoからJava 9まで動かせる • コマンドラインツールを使った課程、結果も全て残 せる
35.
例:配信スケジュール • 問題設定 • 広告がm個 •
枠がn個 • 1時間毎に配信量を調節したい (時間枠が24) • 広告毎に予算があり、予算を越えて配信できない • 収益が最大になる配信量の組み合わせを求めたい
36.
最適化問題を解く • 配信数は連続値とみなせる、目的関数および制約が線形 • →
線型計画問題 • Pythonなら有償もしくは無償のソルバーが大抵ある • PyConJPを見ている感じではPuLPが人気 • 本番に載せる時は他の言語の方が楽な事もあるのでセオ リーは理解しておきたい
37.
DEMO
38.
この結果は…… • 解けた • しかし時間毎の期待収益(eCPM)の増減が激しい •
時間帯の期待収益の下限を制約に追加しよう • 再実験 • 続く
39.
例:多腕バンディット問題 • どの広告を配信すると収益が高いか、未知の広告に ついてはわからない • 活用と探索 •
活用:収益が高いとわかっている広告を配信 • 探索:収益が未確定の広告を配信
40.
DEMO
41.
実験と並行して
42.
• e.g. 疎結合にして一部処理はPythonで •
KVSを通した時のレイテンシ、コスト(お金)を確認 • e.g. 状態を更新し続ける必要のあるアルゴリズム • 強化学習やバンディットアルゴリズム • 全体で共有? スレッド間に留める? • 状態更新の遅延に対するロバストネス性を確認 本番システムへの実装イメージを固める
43.
1. Ad Networkとは 2.
データ解析チームの業務とPython 3. 分析基盤の構築 4. 調査・実験 5.レポート
44.
• 新しい配信ロジックを特定の枠に50%投入した状態 で、新旧ロジックによるキャンペーンの選択結果を 比較 • クリックログについて確率分布 と を比較して差が大きい枠を抽出
(異常枠) レポートの例 p(x|conversion = 1) p(x|conversion = 0)
45.
説明 クエリ 結果
46.
チームメンバへ共有 • .ipynbファイルをコミットしてGitHubにpushする • GitHubのWebサイト上でレンダリングされた状態 を見る事ができる
47.
まとめ
48.
まとめ • ログ解析基盤はチームに合わせて小さく始めてみた • BigQuery強い •
フルマネージドサービスを使って実験時間を確保 • Jupyter Notebookがあれば生きていける
Download now