Estimating the effect of advertising with Machine learning
•
12 likes•18,595 views
This is the slides where I used for Japan.R I tried to estimate the effect of advertisement by Hal Varian's approach that he described in his paper.
Recommended
More Related Content
More from Shota Yasui
More from Shota Yasui (14)
Recently uploaded
Recently uploaded (8)
Estimating the effect of advertising with Machine learning
- 1. Estimating the Effect of Advertisment by Varian’s approach with R Shota Yasui Japan.R 2015-12-05
- 10. Selection Bias • マーケターは相性の良さそうなタイミングや場所で多 く出稿する。 • この時単純に売り上げの差分を広告の効果と主張する のはNG カリフォル ニア アリゾナ Sales 広告の効果？
- 11. Selection Bias • 効果を推定したい事象がランダムには割り振られていない。 • その事を加味した推定方法を利用しなければ、推定された効果はselection biasを内包した状態になる。 • こういった状況に対処する為によく使うものが、 • Instrumental Variable Method • Propensity Score 広告の効果 元々の相性
- 12. 今回はHal Varianが2014年にBig Data: New Tricks for Econometricsという論文で提唱したアプロー チをRでやってみた。
- 13. データ • KaggleのRossmann Store Salesのデータを利 用する。 • ドイツにあるドラッグストア1115店舗の３年 分の売上とそれに関連する店舗の特徴データ。 • このデータの中にPromotionという変数が0 or 1のダミー変数で入ってる • 今回はこのPromotionの変数が広告であるとい う仮定を行い分析を進める。
- 14. Promotion = 0 モデル学習データ 10 hold cv Promotion = 0 の比較対象データ Promotion = 1 の予測対象データ モデル学習 未学習のデータとしてモデ ルに投入して予測値を算出。 結 果 1. 比較してみる。 2. Promotion = 1データでの予 測値と実売上の差分を見る。 N=37万 N=32万 N=14万 流れ 学習されたモデルを広告が無い世界での売 り上げを予測してくれるものだと捉える。
- 15. モデル • Gradient Boosting Decision Treeを採用。 • Xgboostパッケージで学習 • 理由は慣れてるから。 • Ntree = 3000 Shrinkage = 0.5 Max.depth = 5 • Log(売上)に対して学習 Log(Sales) = f(Features) + error • 10 hold CVでrmseが0.07程度。
- 16. Promotion = 0 の比較対象データ • 横軸がモデルでの予測。 • 縦軸が実際の売上。 ※このデータはモデルにとって未知のデータ。 Rmseは0.072
- 17. • 事象の構造に変化が無ければ、予測はある程度上手く行く。（右） • 事象の構造に変化が有れば、予測はずれる。（左） • データの差が広告のみであるならば、実際の売上の値とモデルの予 測値との乖離が広告の効果であると言える。
- 18. • Promotion = 1のデータの予測値とlog(sales)の差の平均は0.46 • この値を対数差分の近似として捉えれば、Promotionの効果は平 均的に売上に対して46%の増加をもたらすと考えられる。 • ただし、Promotion = 1のデータセットとPromotion = 0のデータ セット間で広告の投下と相関しているような差が発生していなけ れば・・・ • 例えばクリスマスシーズンは全ての店と全ての年で広告を出して いる状態なら、クリスマスシーズンのデータはPromotion = 1の データセットにしか入っていない状態になる。 • 結果この46%の増加の中にはクリスマスシーズンというセレク ションバイアスが含まれていることになる。 結果のまとめ
- 19. +α：広告効果の推定値に対しての学習 • Ntree = 500 • Shrinkage = 0.5 • Max.depth = 5 • Store type • 曜日 • 商品の品ぞろえ • 露点 • 競合店との距離 • あたりが広告効果と思われる差分 の“予測には”効いてる。 • こういった要素から広告効果の受 けやすい店舗とかが解 る・・・・・・・かも。
- 20. Enjoy!