LINE Ads PlatformのCTRを2倍にした開発手法
•6 likes•8,815 views
Report
LINE Ads Platform の CTR を2倍にした開発手法 /小川 拡 (LINE株式会社 サービス開発1室) LINE Developer Meetup in Tokyo #22 -Ads Platform-の登壇資料です https://line.connpass.com/event/69277/
Recommended
More Related Content
Viewers also liked
Viewers also liked(20)
Similar to LINE Ads PlatformのCTRを2倍にした開発手法
Similar to LINE Ads PlatformのCTRを2倍にした開発手法(20)
More from LINE Corporation
More from LINE Corporation(20)
Recently uploaded
Recently uploaded(8)
LINE Ads PlatformのCTRを2倍にした開発手法
- 1. LINE Ads Platformの CTRを2倍にした開発⼿法 LINE株式会社 サービス開発1室 ⼩川 拡
- 2. ⾃⼰紹介 • 経歴 • 2015 新卒で⼊社 • 2015~ LINE ポイント広告 サーバサイド開発 • 2016~ LINE Ads Platform 広告配信サーバ開発
- 3. LINE Ads Platform • LINEの運⽤型広告プラットフォーム • リクエストごとにオークションで配信する広告を 決定 • 広告主や広告代理店が運⽤ • タイムラインやLINE NEWSなどに広告を表⽰
- 6. CTRとは • 広告が表⽰されたユーザーが広告をクリックする率 • CTR = クリック回数 / 表⽰回数
- 8. CTRを正確に推定できると どうなるか • クリックされやすい広告を表⽰できるようになる • クリックされるほど売り上げが増える • ユーザーにとっても興味のある広告が表⽰される • 広告クリエイティブは掲載前に審査
- 9. CTR推定の改善 • 実績値なしでの推定 • 内部的に広告枠を細分化 • フリークエンシーを考慮 • ユーザーの属性を考慮
- 10. 実績値なしでの推定
- 11. 実績値なしでの推定 (1) • 配信実績が少ないとCTRが分からない • 効果に関係なく配信して実績値を調べていた • 実績が蓄積するまでの間は効率が悪い
- 12. 実績値なしでの推定 (2) • 似た広告の実績値からベイズ推定 • 広告枠 • 広告主 • 広告商品 • ターゲティング設定 • 配信直後から正確にCTRを推定できるようになった
- 13. 内部的に広告枠を 細分化
- 15. 内部的に広告枠を細分化 (2) • 各ページを訪れるユーザーに対してCTRを推定 できるようになった • コンテンツにマッチした広告が出やすくなった
- 16. フリークエンシーを 考慮
- 18. ユーザーの属性を考慮
- 19. ユーザーの属性を考慮 (1) • ユーザーの属性 (性別、年代、興味関⼼など) によっ て同じ広告でもCTRは変わる • 属性ごとにCTRを推定する
- 20. ユーザーの属性を考慮 (2) 広告 ID 広告枠 ID 推定 CTR 1 1 0.1 1 2 0.2 2 1 0.3 2 2 0.2 広告ID 広告枠 ID 性別 年代 推定 CTR 1 1 f 15-19 0.1 1 1 m 15-19 0.01 1 1 f 20-24 0.2 1 1 m 20-24 0.02 1 1 f 25-29 0.3 1 1 m 25-29 0.03 ⋮ 属性を考慮して 細分化
- 21. ユーザー属性の推定 • 機械学習によって属性を推定 • 購⼊したスタンプや利⽤している公式アカウント などの情報を利⽤ • トーク履歴や友だちなどは不使⽤
- 22. 最近の取り組み • CTRだけでなくCVRも最適化する • CVR = コンバージョン回数 / クリック回数 • ⾼いほど広告主にとっての費⽤対効果がよくなる • CTRが多少下がってもCVRが⼤きく上がる最適化は 適⽤している
- 23. 開発してきて感じたこと • データが超重要 • 広告配信のロジックは表⾯上⾒えにくい • データを追わないと変更時の影響が分からない
- 24. データの活⽤ • ダッシュボード • 異常値検知 • A/Bテスト • アプリケーションログ
- 27. LINE Notifyで通知 • 毎⽇スクリーンショットを撮ってLINEグループに ⾃動で共有 • 気付いた点があればLINE上でそのまま議論できる
- 31. 異常値検知 (1) • CTR, CVRなどの指標が過去の傾向から外れた 場合に通知 • バグや市況の変化に気付ける • ⾃動で検知してくれるので必要以上に⼈⼒で チェックしなくてよくなる
- 33. 異常値検知 (2) • 通知された場合は原因を調査し、対応を検討 • 直近のリリース • 特定の案件の出稿状況 • 季節要因 • 掲載メディア側の変更
- 34. A/Bテスト (1) • 最適化前後での効果の⽐較のために実施 • 基本的にはすべての最適化についてテスト • 機能の組み合わせや市況によってうまくいかない ことがある
- 35. A/Bテスト (2) • JIRAでチケット管理 • A/Bテスト期間を⼊⼒できるようにしている • ⾃前のカレンダーアプリで表⽰
- 37. A/Bテスト (3) • ほぼ毎週複数の最適化をテスト • LINEのトラフィックだと短期間で必要な サンプル数のデータが集まる • 多数の機能を並⾏して開発 • 案件が予定通り進まなくても他の案件をテスト
- 41. Datalake • 社内のデータ分析基盤 • 数百台規模のHadoopクラスタ • 社内の様々なデータが格納されている • Webフロントエンドyanagishimaから簡単に クエリを投げられる
- 42. yanagishima • 社内で開発されたPrestoとHiveのWebフロント エンド • OSSとしてGitHubで公開中 • ブラウザ上でクエリを書いて実⾏できる • 結果を簡単に共有できる
- 45. まとめ • LINE Ads PlatformのCTRを2倍にした • CTRを正確に推定することで、クリックされやす い広告を表⽰している • 他の指標とのバランスを取りながら最適化を継続中 • データを活⽤しながら開発している