Paper Collection of Real-Time Bidding論文読み会~第一回~

1. Paper Collection of
Real-Time Bidding
論文読み会~第一回~
2018/03/08@MC17F_MTG J
いしばし げんき

2. 自己紹介
● 石橋 弦樹(いしばし げんき )
● 2015年新卒としてCAに入社
● MDH DSPチーム 開発エンジニア
● 絶賛社畜中

3. Paper Collection of Real-Time Bidding
● チュートリアルスライドがRTBの概要を把握するのにGood
○ RTBシステムの定式化
○ 色々な学習モデル (Linear, FM, GBDT, DNN, etc...)
○ CVのアトリビューション分析
○ 予算配分コントロール
○ ユーザーセグメント
○ etc...

4. 今日紹介する論文
● Feedback Control of Real-Time Display Advertising
○ http://wnzhang.net/papers/fc-wsdm.pdf
● 選んだモチベーション
○ 現システムの課題
■ 超過マージンがない場合の制御機構がない
○ 学部時代に学んだことに馴染みがあった
■ PID制御
■ 一度取り入れようとして断念した w

5. 概要
● RTBにおけるKPIを制御するのにフィードバック制御を用いるといいよって話
○ KPI = CPM, eCPC, AWR(Auction Winning Rate), CTR, etc…
○ KPIはキャンペーンによってバラバラなので制御するのは大変

6. 事前準備
● 入札戦略
○ CTR予測ベースの入札戦略
○ t: ビットリクエスト
○ b(t): 入札単価
○ b0: チューニングされたユーザーセグメントの入札単価
○ θt: 予測CTR
○ θ0: ユーザーセグメントの実績 CTR

7. フィードバック制御理論
● 出力を入力とフィードバックすることで制御する仕組み
● RTBにおけるフィードバック制御システム(Fig. 2)
○ Monitor
■ 状態の監視
○ Actuator
■ コントローラの信号を適用
■ ba(t) ← b(t)exp{Φ(t)}
○ Controller
■ 現在の状態から目標値に近づける信号を生成
■ PIDコントローラ
■ WLレベルコントローラ

8. PIDコントローラ
● Proportional(比例), Integral(積分), derivative(微分)を適用したコントローラ

9. PIDコントローラ
Wikipedia -PID制御-
https://ja.wikipedia.org/wiki/PID%E5%88%B6%E5%BE%A1

10. WL(液体レベル)コントローラ
前回の入力値に偏差に定数を適用したコントローラ

11. 実験条件
● データセット：iPinYouDSPのデータ
○ 2013年の9キャンペーンの10日間のデータ(35FhGB)
■ bid: 64.57M
■ Imp: 19.50M
■ click: 14.79K
○ 最後の3日間をテストデータとして使用
● CTRモデル学習条件
○ 特徴量を0.7M次元のバイナリベクトルに落とし込む
○ ロジスティック回帰

12. 評価基準
● error band: 誤差範囲. 目標値の10%以内
● rise time: 立ち上がり時間
● settling time: 整定時間
● overshoot: 超過距離
● RMSE-SS: 定常時の平方自乗誤差
● SD-SS: 定常時の標準誤差

13. 実験結果
● PIDコントローラはすべて最終的に安定する
● WLコントローラは特にCPCで制御できていない
● WLコントローラはAWRで2つ制御できていない
● 定常時の誤差がPIDコントローラの方が小さい
→ PIDコントローラの方が優秀

14. 制御の難しさ
● 目標値を高く or 低く設定した場合の影響を調査
● 目標値を高くするほど整定時間が短くなった
○ 消費金額が高ければ勝ちやすくなるから
● 初期値から目標値へと遷移する際に最大のズレが生じる
○ 目標値を変化させる時に思わぬ自体を招く可能性あり

15. 目標値は一定か動的か
● 広告主のユースケース
○ 初期の目標値よりも高い CPCに設定し予算を半分消化させ、初期の目標値より下げ予算を使い切る
前に初期の目標値に合わせたい
→ 予算を考慮した新しい目標値の提案
tk: 時間, x(tk): 目標値の現在の値, B キャンペーン予算, s(tk): 現在の消費金額

16. 目標値は一定か動的か
● パフォーマンスが目標より低い場合動的な値を大きくする
● 予算が不十分な場合も大きな変化を起こす
● eCPC制御では一定目標値の方が優れた性能
● AWRでは整定時間とコストを削減できるが、精度と安定性は悪い
→ 事前に指定された目標へ整定するには十分有用

17. PIDパラメータの調整
● λDは重要なパラメータじゃないので小さい値に設定(1 x 10^-5)
● λPとλIの探索はグリッドサーチの代わりに、コーディネートサーチ
○ パラメータの一つを固定し、ラインサーチ
○ 整定時間が一番短くなるパラメータを決定
○ 3~4回ラインサーチを繰り返し
● 制御信号φ(t)に上限下限の設定
● 10回ごとにパラメータのオンライン更新をすることで効率よく制御可

18. まとめ
● ダイナミックなRTBでも、フィードバック制御でKPIを制御できる
● 目標値の高低で制御のしやすさが異なる
● PID制御は過度に調整しなくても目標値に合わせてくれる