Recommended
More Related Content
What's hot
What's hot (20)
機械学習を用いた効果検証POL共催セミナー_20220819.pdf
- 2. アジェンダ - 自己紹介 - 効果検証の概要 - 傾向スコアを用いた効果検証 - 機械学習を用いた効果検証
- 3. 自己紹介
- 4. 自己紹介（経歴） - 九州大学経済学部卒（計量経済学とか） - データアナリスト - EC事業の効果検証 - MaaS事業のDX - 受託分析のデータサイエンティスト ← 今ココ 所属・団体に関するお話はしない（できかねます）ので、ご了承くださいませ
- 6. 効果検証の概要
- 13. 効果検証とは（理想） 本当はこうなんだけど... 広告を見た場合の売上 （円） 広告を見てない場合の売上 （円） 効果 Aさん 10,000 0 10,000 Bさん 5,000 5,000 0 Cさん 15,000 5,000 10,000
- 14. 効果検証とは（現実） 現実ではどちらかしか分からない... 広告を見た場合の売上 （円） 広告を見てない場合の売上 （円） 効果 Aさん（見た） 10,000 0 ？ Bさん（見た） 5,000 5,000 ？ Cさん（見てない） 15,000 5,000 ？
- 15. 効果検証とは 広告を見た場合の売上 広告を見てない場合の売上 効果 iさん Y1 Y0 Y1 - Y0 計測不可 N人分のデータを利用して、 効果(Y1 - Y0) あるいは 期待値 E(Y1 - Y0) を理論的に算出するというアプローチ ➢ Y1 - Y0 を”ITE”, E(Y1 - Y0)を”ATE”と呼ぶ
- 17. 効果検証の概要まとめ - 本当の効果って意外と分からない - 手元にある複数のデータから、どうにかITEやATEを求めよう とするのが効果検証のアプローチ - 効果を知るということだけに焦点を当てると、実験(A/Bテス ト)が一番
- 18. 傾向スコアを用いた効果検証
- 19. ダイエット商品のリターゲティング広告の例 傾向スコアとは 属性から予測される処置が施される確率 P(T|X=x) → 処置を受ける傾向をスコアリングしたものという解釈 性別: 女性 広告を見る確率は...65% （これが傾向スコア） 予測 配信月: 7月 過去の購入履歴: 有
- 20. 傾向スコアを用いた因果推論手法 - 傾向スコアを用いた因果推論手法には - 傾向スコアマッチング - IPW: Inverse Probability Weighting - DR法: Doubly Robust Estimation などがある（詳細はこちらのZenn記事を参照） 今回はDR法（Doubly Robust Estimation）を紹介
- 21. 設定(1)概要 - 次の例で、広告の効果を考える - 広告を見る確率（傾向スコア）は下記のデータに依存 - 「ダイエットへの意識の高さ」 - 売上は下記2つのデータに依存 - 「ダイエットへの意識の高さ」 - 「広告を見たかどうか」 - 広告の真の効果は一律1,000円（これを推定する）
- 22. 設定(1)変数間の関係性 ダイエットへの意識の高さ （-1以上1以下の数値で表現） 広告を見るかどうか （1: 見た、2: 見てない） ダイエット商品の売上 一律1,000円 （広告の真の効果）
- 23. 設定(1)データの仕様 - ダイエットへの意識の高さx: 一様分布(-1, 1)に従う - 広告閲覧ダミーT: 1(x+noise>0), 0(otherwise) - noiseは標準正規分布に従う - 売上Y: [ 3x + T + 3 + noise] × 1,000 - ただし、[x]はxを超えない最大の整数 - noiseは一様分布(0, 1)に従う
- 24. 設定(1)ダイエットへの意識の高さ - 一様分布(-1, 1)に従う、定量的に表された数値 - 広告を見る確率（傾向スコア）と売上に影響 ダイエットへの意識の高さ 広告を見る確率（傾向スコア） 売上 高 高 低 低 1 -1
- 25. 設定(1)広告閲覧ダミー - 広告を見ていれば1, 見ていなければ0 - ダイエットへの意識が高いほど広告を確率が高い - 広告を見た人の方が売上は高い
- 26. 設定(1)売上 - 真のモデル: Y = [ 3x + T + 3 + noise] × 1,000 - ダイエットへの意識の高さと広告閲覧に依存 - 広告の効果は一律1,000円
- 29. DR法のアルゴリズム 1. Xから広告を見たかどうか(T=1,0)を予測する分類モデルを 構築し、傾向スコアを算出 2. 共変量(X,T)から売上Yを予測する線形回帰モデルを構築 3. 1. 2. の結果を利用して、ITEおよびATEを算出
- 30. DR法のアルゴリズム（1/3） 共変量Xから広告を見たかどうか(T=1,0)を予測する分類モデル を構築し、傾向スコアを算出 分類モデルを構築 ダイエットへの意識の高さ : X = 0.7 広告を見る: T=1 （確率は 65%） 予測 傾向スコア
- 31. DR法のアルゴリズム（2/3） 共変量(X,T)から売上Yを予測する線形回帰モデルを構築 ダイエットへの意識の高さ : X = 0.25 広告を見た: T = 1 売上: Y = 4,500（予測値）
- 32. DR法のアルゴリズム（3/3） 1. 2. の結果から、ITEおよびATEを算出（導出は割愛） 広告を見た場合の Yの推定値 広告を見ていない場合の Yの推定値 ATEは、ITEの期待値で表され、
- 33. どこが “Doubly Robust” なの？ 1. Xから広告を見たかどうかを予測する分類モデル 2. 共変量(X,T)から売上Yを予測する線形回帰モデル ➢ 1. 2. のどちらかの推定モデルが正しければ、 ATEをバイアスなく推定することができるんです！
- 37. 設定(2)概要 - 次の例で、広告の効果を考える - 広告を見る確率「ダイエットへの意識の高さ」に依存 - 売上は下記2つのデータに依存する - 「ダイエットへの意識の高さ」 - 「広告を見たかどうか」 - 広告の真の効果は「ダイエットへの意識の高さ」に依存 - 1,000円、2,000円、3,000円と変動
- 38. 設定(2)データの仕様 - ダイエットへの意識の高さx: 一様分布(-1, 1)に従う - 広告閲覧ダミーT: 1(x+noise>0), 0(otherwise) - noiseは標準正規分布に従う - 広告効果ダミーt: 1(x<0), 2(x<0.5), 3(otherwise) - 売上Y: [ 3x + Tt + 3 + noise] × 1,000 - ただし、[x]はxを超えない最大の整数 - noiseは一様分布(0, 1)に従う
- 39. 設定(2)ダイエットへの意識の高さ - 一様分布(-1, 1)に従う、定量的に表された数値 - 広告を見る確率・広告効果・売上に影響 ダイエットへの意識の高さ 広告を見る確率（傾向スコア） 高 低 1 -1 広告効果 売上 低 低 高 高
- 40. 設定(2)広告閲覧ダミー - 広告を見ていれば1, 見ていなければ0 - ダイエットへの意識が高いほど広告を確率が高い - 広告を見た人の方が売上は高い
- 41. 設定(2)売上 - 真のモデル: Y = [ 3x + Tt + 3 + noise] × 1,000 - ダイエットへの意識の高さと広告閲覧に依存 - 広告の効果はダイエットへの意識の高さに依存
- 44. 傾向スコアを用いた効果検証のまとめ - 傾向スコアとは処置が割り振られる確率 - 傾向スコアを用いた因果推論手法の中でDR法を紹介 - 回帰分析×傾向スコア - どちらかの推定モデルが正しければバイアスなくATEを推定で きる！ - ITEの推定はイマイチ... - ATEが意味をなすのは効果が一定のときだけ......
- 45. 機械学習を用いた効果検証
- 46. 機械学習を用いた因果推論手法 大きく分けて下記の2通り - Meta-Learner系 - Causal-Tree系 今回はMeta-Learner系の手法の1つ”DR-Learner”を紹介
- 47. Meta-Learnerとは - 機械学習と因果推論の考え方を掛け合わせて、 HTE（効果の異質性）を推定する手法の総称 - 本日紹介するDR-Learnerの他にも - S-Learner - T-Learner - X-Learnerなど
- 48. Meta-Learnerの利点 - 効果の異質性を、従来の統計手法よりもシャープに捉えるこ とが期待できる - 予測に利用するモデルを自由に選択することができる - データの不均衡性に比較的対応できる
- 49. DR-Learnerのアルゴリズム（1/8） 共変量Xから広告を見たかどうか(T=1,0)を予測する分類モデル を構築し、傾向スコアpsを算出 分類モデルを構築 ダイエットへの意識の高さ : X = 0.7 広告を見る: T=1 （確率は 65%） 予測 傾向スコアps
- 50. DR-Learnerのアルゴリズム（2/8） - 処置群(T=1)と対照群(T=0)にデータを分割 ※ (処置群のデータ数, 対照群のデータ数) = (n, N-n)とする 処置群（広告を見た） ダイエットへの 意識の高さ 売上 0.43 7,000 0.21 6,000 対照群（広告を見てない） ダイエットへの 意識の高さ 売上 0.09 3,000 -0.15 2,000
- 51. DR-Learnerのアルゴリズム（3/8） - 処置群(T=1)のデータを用いて、広告を見た(T=1)場合の売 上Y1 を予測する回帰モデルM1 を作成 処置群（広告を見た） ダイエットへの 意識の高さ 売上 0.43 7,000 0.21 6,000 広告を見た(T=1)場合の 売上Yを予測する回帰モデルM1 学習器はなんでもOK！
- 52. DR-Learnerのアルゴリズム（4/8） - 対照群(T=0)のデータを用いて、広告を見ていない(T=0)場 合の売上Y0 を予測する回帰モデルM0 を作成 対照群（広告を見てない） ダイエットへの 意識の高さ 売上 0.09 3,000 -0.15 2,000 広告を見ていない(T=0)場合の 売上Yを予測する回帰モデルM1 学習器はM0 と合わせるのが通例
- 55. DR-Learnerのアルゴリズム（7/8） - N個すべてのデータ(X0 , X1 , ITE0 , ITE1 )を利用して、共変量X からITEを予測するモデルMDR を作成 ダイエットへの 意識の高さ ITE （推定値） 0.43 2,200 （広告を見た） 0.29 2,100 （広告を見た） 0.09 1,600 （広告を見ていない） -0.15 900 （広告を見ていない） 目的変数 特徴量
- 56. DR-Learnerのアルゴリズム（8/8） - 共変量XとモデルMDR を利用して、効果を推定 ダイエットへの意 識の高さ x = 0.5 モデルMDR 推定される 広告効果 ITE = 3,000 入力 出力
- 58. 設定(1)データの仕様 - ダイエットへの意識の高さx: 一様分布(-1, 1)に従う - 広告閲覧ダミーT: 1(x+noise>0), 0(otherwise) - noiseは標準正規分布に従う - 売上Y: [ 3x + T + 3 + noise] × 1,000 - ただし、[x]はxを超えない最大の整数 - noiseは一様分布(0, 1)に従う
- 60. 設定(2)データの仕様 - ダイエットへの意識の高さx: 一様分布(-1, 1)に従う - 広告閲覧ダミーT: 1(x+noise>0), 0(otherwise) - noiseは標準正規分布に従う - 広告効果ダミーt: 1(x<0), 2(x<0.5), 3(otherwise) - 売上Y: [ 3x + Tt + 3 + noise] × 1,000 - ただし、[x]はxを超えない最大の整数 - noiseは一様分布(0, 1)に従う
- 63. 機械学習を用いた効果検証のまとめ - 「機械学習×因果推論」でHTE(効果の異質性)を推定する Meta-Learnerの手法のうち、DR-Learnerを紹介 - さまざまな学習器を利用でき、従来の統計的な手法よりも シャープな推定を期待できる - EconMLというPythonライブラリを利用することで簡単に実 装可能
- 64. 参考文献
- 65. 書籍 - 西山他「New Liberal Arts Selection 計量経済学」有斐閣 (2019) - 岩崎「統計的因果推論」朝倉書店(2015) - 岩波データサイエンス刊行委員会編「岩波データサイエンス Vol.3-[特集]因果推論-実世界のデータから因果を読む」岩 波新書(2016)
- 66. 書籍以外 - EconML公式ドキュメント - CausalML公式ドキュメント - Sören R. Künzel, Jasjeet S. Sekhon, Peter J. Bickel, Bin Yu 「Meta-learners for Estimating Heterogeneous Treatment Effects using Machine Learning」(2017)
- 67. ご清聴ありがとうございました