Marketing 08 ランダム化比較試験による仮説検証

Marketing 08 ランダム化比較試験による仮説検証
ランダム化⽐較試験による仮説検証埼⽟⼤学経済経営系⼤学院加藤拓⺒マーケティング #08
今回の位置付け顧客管理と効果測定戦略と実⾏価値づくりの考え⽅調査による客観的な状況把握 #01 マーケティング #02 ブランドマネジメント #04 市場調査 #08 ランダム化⽐較試験 #09 感性⼯学 #05 消費者⾏動 #06 回帰分析 #03 ロイヤルティとCRM #10 クチコミ #11 戦略と組織能⼒仮説⽴案具現化検証 #07 知覚品質 #12 まとめ
対象のプロセスコンセプト検証ラインナップ戦略コンセプト策定知覚品質検証価値づくり市場反応想定される社会変化・消費者の⽣活変化を踏まえ，解決すべき問題は何か︖ どんな困っている⼈(実⽤+⼼理)にどんな価値を提供するのか︖ そのコンセプトは購⼊意向・⽀払意思額を⾼めるか︖ コンセプトを⼀貫して，かつ⾼い知覚品質で具現化できているか︖ 消費者はコンセプトを感じ取り，購⼊⾏動を起こしているか︖ ブランド評価消費者のロイヤルティは⾼まっているか︖ 価値づくりの活動全体を通じて，考え⽅と対応する科学的アプローチを議論する
2. 意思決定に必要な材料は因果関係アジェンダ 4. 実験ができない場合の調査観察研究 1. 決められない⽇本の会議 3. 実験が可能な場合のランダム化⽐較試験 5. まとめ
「強い⼯場・弱い本社」症候群1 鍛えてきた現場能⼒の上に，迅速かつ成功確率の⾼い戦略の意思決定が必要 1: 藤本隆宏. (2004). ⽇本のもの造り哲学. ⽇本経済新聞社⽇本のメーカーは，依然として現場のオペレーション能⼒は⾼い．にもかかわらず，収益⼒で劣るのは，「戦略的な弱さ」が要因である． • ⽇本経済が右肩上がりで伸びている時はオペレーション能⼒で成⻑できたが，停滞する現在は本社の戦略・意思決定が必要 • オペレーションの強い組織は極端に下がることは少ないが，その上に戦略があれば，確実に強くなる． - ⽇本︓強い⼯場・弱い本社 → 安定的な利益 - 北⽶︓弱い⼯場・強い本社 → 短期間に⼤きな収益・損失
⻑らく指摘される，決められない⽇本の会議優れた意思決定を，より多く，よりスピーディに下すためのプロセスが求められている
「会議の準備」という膨⼤な作業意思決定の根拠が乏しく，判断⽅法が⼈によってバラバラならば，時間は当然かかる 1: Mankins, M. (2014). Yes, You Can Make Meetings More Productive. Harvard Business Review, https://hbr.org/2014/06/yes-you-can-make-meetings-more-productive. 2:パーソル総合研究所. (2018).無駄な社内会議による企業の損失額を算出従業員1万⼈規模で年間15億円，1500⼈規模で年間2億円の損失. https://rc.persol- group.co.jp/news/201809060935.html 3: Mankins, M. C. (2004). Stop wasting valuable time. Harvard Business Review, 82(9), 58-67. • ある⼤企業では，経営会議の準備に，150⼈分の年間業務量を費やしている1 • 1万⼈規模の企業では，無駄な会議時間は年間332⼈分の年間業務量に達する2 • 経営会議の65%以上は，意思決定ではなく，単なる情報交換等に使われる3 意思決定の根拠が曖昧なまま，決裁者によって求めるものが異なるため，会議の準備・会議⾃体に膨⼤なムダが発⽣
無意識に⼊り込むノイズとバイアス⼈が変わろうと，気分が変わろうと，企業にとって成功確率を⾼める努⼒は不可⽋⼈間の意思決定は，無意識に，あまりに多くの影響を受けている過去の経験，話題のニュース，報告部⾨・報告者，気分，空腹具合，天気，椅⼦の固さ... 1: Kahneman, D., Rosenfield, A. M., Gandhi, L., Blaser, T. (2016). Noise: How to overcome the high, hidden cost of inconsistent decision making. Harvard business review, 94(10), 38-46. ノイズが少ないバイアスが少ない成功確率の⾼い意思決定バイアスが⼤きくいつも偏った意⾒ノイズが⼤きくコロコロ変わる意思決定におけるノイズとバイアス1
意思決定にはびこるバイアス経験は有益な1つの情報源だが，依存度合いが強いと意思決定を”無意識に”歪める Soyer, E., Hogarth, R. M. (2015). Fooled by experience. Harvard Business Review, 93(5), 72-77. 結果バイアス利⽤可能性バイアス確証バイアス • プロセスより結果重視 • 偶然の成功を過信 • 1回の失敗で価値ある戦略を破棄 • ⾃分が思いつく範囲の情報に頼る • ⾝近な情報を過⼤評価 • ⼿元のデータの偏りに気づかない • 意向に沿わない情報を無意識に排除 • ⾃説を⽀持する情報を収集 • 質が低い過去の経験の記憶を過信
Googleの絶え間なき研究社内のプロセス・制度を常に研究し，意思決定の質・スピードを持続的に向上 • 社員の質を妥協しないため16-25回⾯接していたがコストが⼤きかった • そこで，⾯接者を1⼈増やすごとに採⽤の意思決定に与える影響を検証 • その結果5⼈⽬以降の⾯接者が意思決定に与える影響は乏しいと判明し，「4回の法則」を定め，採⽤時間を最⼤180⽇から47⽇に短縮⼤湾秀雄. (2017). ⽇本の⼈事を科学する: 因果推論に基づくデータ活⽤. ⽇本経済新聞出版社. Google
Googleの絶え間なき研究明確な⽬的のもと仮説を⽴案し，科学的検証を繰り返すことで意思決定の精度向上中間管理職業績評価＋部下による評価における良い管理職と悪い管理職では，部下の⽣産性と定着度に⼤きな差があることを明らかにした．良い管理職は「マイクロマネージしない」等の特徴を⽰し，管理職研修に活⽤．年⾦積⽴年⾦積⽴プラン(401k)の加⼊を従業員に促す際，ランダム化⽐較試験によって，リマインダー数・提案⾦額による反応率の変化を明らかにした．⼈材採⽤⼤学の成績証明書をすべての求職者に要求していたが，卒業2-3年後では仕事の成績に影響を与えないことが判明し，中途採⽤では提出不要とした．⼤湾秀雄. (2017). ⽇本の⼈事を科学する: 因果推論に基づくデータ活⽤. ⽇本経済新聞出版社.
意思決定へのアプローチ感覚的・場当たり的な意思決定と検証しない⽂化では，PDCAを回せないあるべき意思決定ありがちな意思決定 Plan Do Check Action 根拠に基づく戦略戦略具現化予測と実績の乖離に対する原因分析具体的改善 Plan Do Check Action 感覚的・場当たり的な戦略戦略なき全⽅位的実⾏科学的検証をせず失敗を活かせない単なる次期計画 • 在宅勤務の検証はしたか︖ • 多様性導⼊の検証はしたか︖ • 採⽤基準の検証はしたか︖ 例
意思決定に不可⽋な2つの視点アートとサイエンスは選ぶものではなく，どちらも不可⽋である将来の消費者感覚でアイディアを導出現在の消費者感覚で科学的根拠を導出アートサイエンス
成功事例をマネすればいいのではないか︖
成功企業の事例に潜む罠失敗事例の収集はいつの時代も難しいため，思考を⽌めず，仮説検証を繰り返す失敗事例を無視し，成功事例から導いた結論は，真実とは⾔い難い．思考を停⽌し，成功企業の事例を集めて，思い込むことが恐ろしい．1 • 成功事例は，失敗事例を無視しており，因果関係を表していない可能性 (例︓成功した経営者は，全員が⽔を飲んだことがある) • 成功ほど⼈間は検証しなため，成功事例が因果関係を表しているのかは不明 (例︓AI導⼊で販売が増加したとされた商品は，テレビ広告を増やしただけ) 1: Denrell, J. (2005). Selection bias and the perils of benchmarking. Harvard Business Review, 83(4), 114-9.
選択バイアスを回避した統計学者の意思決定成功事例をいくら集めても因果関係の特定は難しく，そこから仮説を⽴てて検証すべき第⼆次世界⼤戦中における攻撃に対する脆弱性への対策 • 帰還した戦闘機は⾚い点が集中被弾しており，その補強をしようとしていた • しかし，統計学者のワルドは，被弾していない部分を強化すべきと提⾔した．なぜなら，被弾しても帰還できたということは，そこは致命的な部位ではない． Denrell, J. (2005). Selection bias and the perils of benchmarking. Harvard Business Review, 83(4), 114-9. Image from: Wikipedia
成功事例から導かれた優秀企業の集落過去の事象を扱う後ろ向き研究ではなく，ランダム化⽐較試験に代表される前向き研究が必要 Smith, G. (2014). Standard deviations: Flawed assumptions, tortured data, and other ways to lie with statistics. Abrams. (川添節⼦(訳). (2019).データは騙る: 改竄・捏造・不正を⾒抜く統計学.早川書房) • エクセレント・カンパニー出版の15年後には，優良企業は43社中5社のみ • 成功企業の統計分析から導かれた結論は，いつも凋落の⼀途を辿る • 成功企業の特徴を探せば何かしら共通点は⾒つかるが，因果効果ではない Tom Peters (1982) エクセレント・カンパニー Jim Collins (1994) ビジョナリー・カンパニー
表層の事例ではなく深層の⽂化市場状況・他社動向・組織能⼒がまったく同じ状況でなければ，同じ成功は再現しない⾒えやすい成功事例成功を⽣む意思決定・組織能⼒・⽂化
• なによりも根本的な思想に重きを置く • Toyotaの実例を横展開しても，上⼿くいかないことを⼗分に理解 • 実際に教える具体的内容は，製品の特徴・企業の内情・現在の実⼒によって柔軟に変える全く同じ状況は存在しないため，表層の⽅法ばかりに着⽬しても効果は⼩さい 1: 藤本隆宏. (2004). ⽇本のもの造り哲学. ⽇本経済新聞社. Toyota式カイゼンは「⽅法」ではなく「思想」書籍等で得た具体内容をマネしただけで満⾜している組織に，思想を植え付けると，短期間で⽣産性が何倍にも⾼まるカイゼンを外部に伝える場合1
成功事例集めよりも，考え⽅を体得したうえで，⾃ら⼿を動かせる⽅がよほど重要 Toyotaの本当の強み Toyotaのコアは，カンバン⽅式でも，JITでも，TQCでも，ハイブリッドでも，⼈⼯知能でも，資本⼒でもない。それは，「進化能⼒」である。したがって，もしカンバン⽅式より有効な⽅法があれば，すぐにカンバン⽅式を捨てられるのがToyotaである。藤本隆宏. (2004). ⽇本のもの造り哲学. ⽇本経済新聞社.
意思決定に必要な材料問題を発⾒し，仮説を⽴て，因果関係を実証する⼒こそが企業競争⼒となる意思決定に最も必要な材料は，因果関係である原因結果問題⽣産性の向上プロジェクトチームの多様性閉塞的な思考による商品企画の停滞 (例) ※解決したい問題なきまま，多様性を時代の”義務”と捉えていては効果は⼩さい
統計学の有⽤性に光を当てた，科学的な意思決定の⾮常に有名な事例問題の発⾒仮説⽴案検証意思決定⽀援 • 感染症の原因は負傷ではなく，不衛⽣な環境にあると推察 • ベッド間隔の拡張，換気，シーツの洗浄が効果的と仮説を⽴案 • 繰り返しの検証から，対策の効果を定量的に算出 • 数字嫌いなヴィクトリア⼥王にグラフでわかりやすく説明ナイチンゲールの科学的な意思決定⽀援野戦病院における感染症の発症率低減1 1: 新井紀⼦. (2018). AI vs. 教科書が読めない⼦どもたち. 東洋経済新報社.
ビッグデータの相関に溺れる
テレビ広告の効果測定「数字を使う＝科学的」ではなく，因果と(擬似)相関の区別が不可⽋である • ターゲットの消費者が視聴しやすいテレビ番組に広告を出稿 • そもそも買いやすい⼈が広告を⾒ているため，⾒ていない⼈との⽐較は，純粋な広告の効果にならない誤った効果検証もともと買いにくい⼈もともと買いやすい⼈ ↑ テレビ広告購買確率の⽐較
ビッグデータは競合他社も持っている新たな価値を導出するには，⾃ら問題を発⾒し，仮説を⽴案し，検証すべき原因結果あるべき姿よくある例解決されていない問題を考え，明らかにされていない因果効果を検証他社も有するビッグデータから相関を⼤量に抽出結果 … (擬似)相関する多数の変数仮説
膨⼤な変数を使⽤して分析した場合，疑似相関を新たな発⾒と誤認する危険擬似相関⼩学⽣は⾜のサイズを⼤きくすれば計算能⼒が向上する︖ 計算能⼒年齢⾜のサイズ相関相関疑似相関
この商品・サービスのコンセプトは何なのか︖どんな問題を解決してくれるのか︖ AI ウェルネスインクルーシブサステナブルロボティクスデジタルトランスフォーメーションコネクテッドシェアリングパーソナライズ世界初の技術オープンイノベーションコトづくりデザインシンキング⾃動運転 VR/AR オムニチャネル電動化性能XX%up 相関に溺れた結末
• 未来の⽣活者のライフスタイルをアイディアシンキングで導出 • 5G・IoTによって収集した⼤規模消費者⾏動データを蓄積 • AIが1⼈1⼈のお客様の趣味嗜好に応じて最適なメニューを提案 • 価格体系はダイナミックプライシングを導⼊ • 顧客の表情を認識してコネクテッドロボットが情報を共有しながら接客 • 職⼈の鍋捌きを学習したロボティクス技術で調理 • ニューロサイエンスによって顧客の脳活動が活性化する素材を特定 • クラウド技術によって⾼度なセキュリティを保証だから何なの︖⼀番⼤事な価値である味はどうなの︖店のコンセプト・雰囲気は︖ ⼈⼯知能 × ロボティクスレストラン
1. そもそも解決したい問題が不明確 2. 問題の原因とその対策(仮説)を考える時間が圧倒的に少ない 3. 設計した調査・検証を実施しない (探索と検証が同じデータ) 4. 再現性を気にせず，1回の検証で結論を導出 5. (⽬的ドリブンではなく)⼿元にあるデータドリブン 6. 信頼性の乏しい膨⼤なデータを気にせず使⽤ 7. (分析の前に)やりたいことが決まってる相関を追い求めやすいプロジェクトの特徴解決したい問題がないまま，トレンドを追い，ビッグデータを集め，相関を探すべからず
相関に溺れないために問題に対する仮説を考える
コトづくり,サステナブル, 電動化, パーソナライズ, V2X, コネクテッド, シェアリング, デジタル, ロボティクス, オープンイノベーション... 溢れる業界の ”ふんわりワード” 解決されていない問題と対策を考える作業をさぼり，業界トレンドで遊んではいけない • 消費者に伝わらないトレンドワードが並ぶプロジェクトが氾濫 • 「顧客は何に困っているのか︖」「なぜそれを⾼いお⾦を払ってでも欲しいのか︖」を考えていない「なぜ他社より⾼いお⾦を出してでも買いたいと思うのか」という因果を考える⼈が少ない1 1: Christensen, C. M., Hall, T., Dillon, K., Duncan, D. S. (2016). Know your customersʼ jobs to be done. Harvard Business Review, 94(9), 54-62.
狂気的な仮説なきプロジェクト仮説なきまま偶然成功した場合，再現性のないその⽅法が正当化されてしまい，最も恐ろしいあるべきプロジェクトの進め⽅仮説なきプロジェクトの進み⽅ • 初めからゴールにいくわけがない • 失敗から学ぶことが重要である • アイディアを検証してみる • 直接ゴールに⾏きたい • 絶対に失敗してはいけない • うまくいったように⾒せる Start Goal Start Goal
• 仮説なき議論は，ただの雑談 • 仮説なき調査は，⾦持ちの道楽 • 仮説なき分析は，価値のない宝探しゲームすべては仮説から「解決されていない問題・対策を主観的に考える」ことが最も重要な仕事 • 「問題発⾒と仮説⽴案」「科学的検証能⼒」「失敗の数」が競争⼒ • 客観的に観察し，主観的に仮説を⽴て，冷徹なほど客観的に検証する • 仮説検証から得るデータは，まだ他社が⾒たことないものになる
仮説とはその仮説は，解決したい問題に対する因果関係を表しているか︖ 解決したい問題に対する因果関係の仮定仮説は，建築する前に設けられ，建物が出来上がると取り払われる⾜場である．⾜場は作業する⼈になくてはならない．ただし，作業する⼈は⾜場を建物だと思ってはならない．ゲーテ原因 x 結果 y 仮説
仮説の要件 1 根拠があるデータや経験に基づく論理的な考察ではなく，説明不能な案ではならない．もし⽴証しても，そのメカニズムが不明では，再現性がない． 2 ⾏動を喚起できるその仮説を⽴証することで，具体的な⾏動に繋がらなければ意味がない．もし⽴証しても，観測・⾏動できなければ，対策しようがない． 3 新規性があるすでに実証されていれば，お⾦と時間をかけて取り組む必要がない．ただし，異なる条件下での検証や，再現性の検証は重要である．その因果関係を⽴証することで，具体的な⾏動に移ることができるか︖
「先⼈の知」という宝新たな発想はゼロから⽣まれるのではなく，先⼈の知という礎から⽣まれる standing on the shoulders of Giants 巨⼈の肩の上に⽴つ Isaac Newton
「ブレスト」ではなく「渾⾝のプレゼンのぶつけあい」解決したい問題が曖昧なまま，事前準備なく，その場の感覚論では仮説は⽣まれないよくあるブレスト • 価値づくりの考え⽅の整合すらできていない寄せ集めメンバー • 所詮その場の思いつきでしかなく，たいしたことは出てこない • “いい感じ”のカスタマージャーニーマップができて⾃⼰満⾜あるべき会議 • 同じ⽬的に対して，各⾃が異なるアプローチで真剣に検討 • ⽂献を⼤量に読み込み，調査し，アイディアを練りにねってくる • 顧客の購⼊意向・⽀払意思額・ロイヤルティに寄与する仮説を導出
価値づくりの仕事仮説⽴案検証 • 重要な問題を発⾒したか︖ • どれだけ仮説を考えたか︖ • どれだけ試作したか︖ ・価値を考える・つくる • 科学的に検証しているか︖ • どれだけ検証したか︖ • 消費者の実環境で検証したか︖ 仮説⽴案・検証という仕事の時間を確保しているか︖
意味の乏しい⼈気投票因果関係を表していないデータで，意思決定をしてはならない • 競合他社の選択肢がない中で選択しても，井の中の蛙の可能性 • この環境下では好ましくても，実際に購⼊されるかは不明 • (すべての候補が並ぶ)実環境ではありえない状況で得た数字 Q. 次の中でどれが最も好ましいか︖ 案A 案B 案C 案D 競合他社
最も信頼できる理想的な検証⽅法は「タイムマシン」タイムマシンがない現在は，科学的⽅法で上記の⽐較検証を実施する新しい処置従来の処置未来現在⽐較 Aさん新しい処置をした未来のAさん従来の処置をした未来のAさん
そのデータは信頼性の⾼い検証⽅法から⽣まれたものか︖ 科学的根拠としての信頼性メタ分析ランダム化⽐較試験 (RCT) 調査観察研究回帰分析信頼性低⾼複数のランダム化⽐較試験の結果を統合して結論を導出最も信頼性が⾼い因果効果の検証⽅法実験ができない場合に擬似的に無作為割付する⽅法簡単にできるが，未知の交絡因⼦の影響除外は困難
因果効果を推定する2つのアプローチランダムに割り当てた実験が可能か否かによって，2つのアプローチに分けられる因果効果の推定実験検証調査観察検証 • 処置を施す処置群と施さない統制群を⽐較 • 最重要ポイントは，2群の無作為割当 • 例︓ランダム化⽐較試験 (RCT) • 理論的・倫理的に, 処置の無作為割当が困難な場合に観察データから因果推定 • 例︓傾向スコア実験ができる場合実験ができない場合
“因果効果の検証にRCT以外の⼿法を⽤いては，有害な結論を招く”とすら⾔われる新しい処置従来の処置⽐較ランダムに振り分けた同質な2群 • 購⼊意向 • ⽀払意思額 • 推奨意向ランダム化⽐較試験 (Randomized Controlled Trial, RCT)
消費者の実環境に合わせたRCT 消費者の普段の購⼊⾏動環境に合わせないと，実際の結果と乖離が⽣じてしまう実環境に合わせるには，競合商品も含めて提⽰すべき調査対象者処置群⾃社商品 +処置あり競合商品1 競合商品K … 統制群⾃社商品 +処置なし競合商品1 競合商品K …
2008年アメリカ⼤統領戦オバマ陣営のRCT 関係者や専⾨家の知⾒をもとに仮説を出すのは有益だが，結論は出してはいけない⽀援者からの資⾦集めに向けて，メーリングリスト登録率が⾼まる Webデザインを画像6案・ボタン4案を対象としたRCTで評価 • 「画像A+”SIGN UP”」が最も効果的だと選挙チームは想定 (統制群に設定) • RCTの結果「画像B+”LEARN MORE”」が最も効果的で，来訪者の11.6%がメーリングリストに登録した A B C Image from reference 1 1: Siroker, D. How Obama Raised $60 Million by Running a Simple Experiment. https://blog.optimizely.com/2010/11/29/how-obama-raised-60- million-by-running-a-simple-experiment/
処置効果を歪める交絡ビッグデータには⼈間の直感ではわからない交絡変数にまみれている興味のある処置変数以外の変数に偏りがあるために，処置効果の推定にバイアスがかかることを交絡と呼ぶ⾼⾎圧 (処置) ⾼収⼊ (結果) 年齢 (交絡変数) 交絡変数︓処置と結果の両⽅に影響する変数
ランダム化しないと⽣じる交絡変数観察で⼿に⼊れたデータは，交絡変数の影響を受けており，因果効果は不明例︓1⽇平均10時間のゲームは寿命を縮めるか︖ 観察データの場合，10時間ゲームをしている⼈は， - 働いておらず，所得が低い可能性 - 運動が不⾜している可能性 - 不健康な⾷事ばかりしている可能性 - すでに病気を患っている可能性といった交絡要因が多数影響することが想定される．
タコのパウルの予⾔ (2008年) 国旗のデザインという交絡変数が影響しないよう，国旗という変数を除外すべき 14試合中12試合の勝敗を正確に予測した背景1 • タコは，鮮やかな⾊と横⻑の形状を識別しやすい • 14試合中ドイツ11回，スペイン2回，セルビア1回と全て横3本線の国旗を選択 • そして，当時はドイツが⾮常に強いチームであった 1: Smith, G. (2014). Standard deviations: Flawed assumptions, tortured data, and other ways to lie with statistics. Abrams.
もっての外である前後⽐較平均への回帰施策前が偶然低いスコアだった場合，施策後は何もしなくともスコアが向上あまりに多くのバイアスを受ける単純な(1群の)前後⽐較は，占いの世界と同じ経時的な変化多様な時系列効果と施策の真の効果を分けて抽出することは困難異なる対象者施策前後でまったく性質が異なる消費者で⽐較している可能性施策前後の⽐較をすべきでない理由
褒めるとダメ︖ 平均への回帰は，常に⾝近なところで発⽣しており，⼈間は振り回されやすい “褒めるとその後失敗する” “叱るとその後成⻑する” • 褒めようと思ったときは，たまたま成功した後 • 叱ろうと思ったときは，たまたま失敗した後 → たまたま成功した後は，何をしようが次は前回を下回る可能性が⾼い ↑ ↑
Googleの意思決定1 価値の判断を決めるのは消費者であり，検証によって迅速に意思決定を⾏う • 意思決定は分析的かつ⺠主的 (≠感覚的・官僚的) • ⽇々何千件という無作為抽出による実験(RCT)を⾏う • 承認されたアイディアは，感覚ではなく検証で評価される • デザインや広告，⾔葉遣いまで，異なるバージョンを⽤意して検証 1: Iyer, B., Davenport, T. H. (2008). Reverse engineering Google's innovation machine. Harvard Business Review, 86(4), 58-68. Google
Uberの意思決定1 教科書や流⾏に固執せず，実データで検証し，成功確率の⾼い意思決定を実現 • 経済学の博⼠号を持つ専⾨家が分析部隊を率い，外部の専⾨家とも協業 • 「分析する価値がある企画なら，UberはRCTに積極的である」と⼤学の研究者に呼びかけ • ダイナミックプライシングによる需要曲線を科学的検証から推定し，最適な価格設定の戦略に⽣かしている 1: 伊藤公⼀朗. (2017). データ分析の⼒因果関係に迫る思考法 (光⽂社新書). Uber
ランダム化⽐較試験で検証すべき消費者の知覚認知消費者が知らないと何も始まらない「買いたいほどではない」では価値ではない「安いなら買う」では価値が低い「1回で⼗分」では利益率が低い (再購⼊意向・推奨意向) コンセプトが理由でなければ再現性が低い購⼊意向⽀払意思額ロイヤルティコンセプト想起率 (再)購⼊意向・⽀払意思額・コンセプト想起率の観点で，因果効果を検証する
RCTの調査設計のカギ環境によって⾏動は⼤きく変わるため，物理的・⼼理的環境の設計が結果を左右するホーソン効果注⽬を浴びることで，期待に応えようとする⼼理から，⾏動に良い変化が起きる被験者に「誰が・何の検証を・どうやってしているのか」を意識させない • 普段の環境と異なる要素はないか︖ • 処置の説明をしてしまっていないか︖ • 普段意識することがない項⽬を無理に聞いていないか︖ ⽣産性向上の検証1 • ⼯場における照明の明るさや，報酬・休憩時間が⽣産性に与える影響を検証 • 従業員は実験対象に選ばれ，注⽬されているという意識から⽣産性が向上した 1: Mayo, E. (1933). The human problems of an industrial civilization. New York, Macmillan. (村本栄⼀訳. (1967). 産業⽂明における⼈間問題ホーソン実験とその展開.⽇本能率協会)
検索トレンドに⾒る科学的検証の注⽬度ディープラーニングよりも因果推論の利⽤すべき企業・⼈は多いが，注⽬度が低い Googleでの検索量の推移1 1: Google Trend. 2004年1⽉2020年3⽉, ⽇本 0 20 40 60 80 100 2004年1⽉ 2005年1⽉ 2006年1⽉ 2007年1⽉ 2008年1⽉ 2009年1⽉ 2010年1⽉ 2011年1⽉ 2012年1⽉ 2013年1⽉ 2014年1⽉ 2015年1⽉ 2016年1⽉ 2017年1⽉ 2018年1⽉ 2019年1⽉ 2020年1⽉検索量(相対値) 回帰分析ディープラーニングランダム化⽐較試験傾向スコア
ランダム化⽐較試験後の検定
データ形式別の統計検定⽅法ランダム化⽐較試験で得たデータは，形式に基づいて，適切な検定⽅法を選択するフリードマン検定ウェルチのt検定スチューデントのt検定対応のあるt検定分散分析カイ⼆乗検定フィッシャー正確確率検定ブルンナー・ムンツェル検定ウィルコクソンの順位和検定マン-ホイットニーのU検定フィッシャーの正確確率検定ウィルコクソンの符号順位検定マクネマー検定クラスカル・ウォリス検定データ形式連続カテゴリー・2値正規分布 2群対応あり多群非正規分布 2群対応なし対応あり多群等分散等分散を仮定しない 2群対応なしセル内件数が多いセル内件数が少ない対応あり多群対応のある t検定分散分析ブルンナー・ムンツェル検定ウィルコクソンの符号順位検定フリードマン検定ウィルコクソンの順位和検定 or マン-ホイットニーのU 検定カイ二乗検定フィッシャーの正確確率検定マクネマー検定対応なし等分散等分散を仮定しないウェルチのt 検定スチューデントのt検定クラスカル・ウォリス検定対応なし対応ありセル内件数が多いセル内件数が少ないカイ二乗検定フィッシャーの正確確率検定
サンプルサイズが⼤きすぎると，無意味な差でも有意差としてしまう．⼀⽅で，⼩さすぎると，本来は意味のある差でも，検出できなくなる．よって，検定⼒分析によって，適正なサンプルサイズを調査前に決める．サンプルサイズ設計近年の実証研究では，サンプルサイズの決定⽅法の記載がないと採択されない • 有意⽔準は，帰無仮説が真のとき，その仮説を誤って棄却してしまう確率 • 検定⼒は，帰無仮説が偽のとき，その仮説を正しく棄却できる確率 • 効果量は，「効果がない」という帰無仮説に対して，対⽴仮説がどの程度異なっているのかを量的に⽰したもの有意⽔準検定⼒効果量サンプルサイズ統計検定における4つの要素 (このうち3つを決めれば残りが決まる)
真実帰無仮説が真帰無仮説が偽検定結果帰無仮説を棄却しない正しい判断確率=1-α 第2種の過誤確率β 帰無仮説を棄却する第1種の過誤確率α (有意⽔準) 正しい判断確率=1-β (検定⼒) 第⼀種の過誤と第⼆種の過誤 “あわて者の誤り” “ぼんやり者の誤り” 2つの過誤の確率を同時に下げることはできないため，αを5%に固定することが⼀般的 Image from:unbiasedresearch.blogspot.com
検査精度 ≠ 実際に病気の確率 p値は処置の効果量や重要性，「正しい確率」を測定するものではない • 検定⼒︓正しく有意差(病気があること)を検出できる確率 • p値 ︓実際に差がない(病気ではない)のに，偶然差があると判断してしまう確率 Q. ある病気に対する検査の検定⼒が90%，p値が5%のとき，検査で陽性の判定が出た場合に，実際に病気にかかっている確率は︖ ただし，検査受診者のうち，0.8%が病気にかかっていると仮定する．検査受診者 1,000⼈病気でない⼈ 992⼈病気の⼈ 8⼈誤って陽性判定 50⼈正しく陽性検知 7⼈ 0.8%が病気 (神のみぞ知る値) 検定⼒90% (8*0.9=7.2⼈) p値5% (992*0.05=49.6⼈) 7÷57=12.3%
因果効果を推定する2つのアプローチ倫理的問題や現実的な制約からランダム化ができない場合の検証⽅法因果効果の推定実験検証調査観察検証 • 処置を施す処置群と施さない統制群を⽐較 • 最重要ポイントは，2群の無作為割当 • 例︓ランダム化⽐較試験 (RCT) • 理論的・倫理的に, 処置の無作為割当が困難な場合に観察データから因果推定 • 例︓傾向スコア実験ができる場合実験ができない場合
観察データからそのまま結論を導くべきではない「仮説の導出」と「仮説の検証」を，同じ調査・データで⾏っては断じてならない • ランダム化していない観察データは⼈間が気付かない交絡変数だらけで，因果効果を評価することは困難である • 観察データからパターンを導き出し，仮説を導出することは有益だが，仮説を「証明された理論」と勘違いして意思決定してはいけない • AI×ビッグデータは(擬似)相関まみれの汚い結果であることを認識し，専⽤の調査によってランダム化⽐較試験を必ず⾏う
調査観察研究の代表⼿法︓傾向スコア傾向スコアが近接している⼈をマッチングし，後から両群を同質化することで因果効果を推定傾向スコアとは，複数の共変量を1変数に集約して求めた処置が⾏われる確率を表し，傾向スコアが同質な2群に分けて処置の因果効果を推定する ※⼤きさ=傾向スコアこの2群で効果を⽐較効果観察した集団マッチングした集団⽐較検証処置群統制群 vs
調査観察研究の代表例 2社の⽔道利⽤者のうち，性別・年収・職業等を同質化して，⽔道の影響を因果評価 1894年ロンドンにおけるコレラの発⽣原因の特定 • コレラの原因は，汚染された空気と考えられていた • 「テムズ川に放出された下⽔を飲み⽔に循環していることが原因」と仮説⽴案 • ランダム化⽐較試験の実施は困難なため，調査観察研究の実施を模索 • ちょうどその時期に，ロンドンの2⼤⽔道局の1社が，テムズ川以外の地域から⽔を引く⼯事を実施したため，2社の⽔道利⽤者の差異を検証した • その結果，テムズ川の⽔道利⽤者に有意にコレラが発⽣したことが判明 Smith, G. (2014). Standard deviations: Flawed assumptions, tortured data, and other ways to lie with statistics. Abrams.
傾向スコアの限界調査観察研究の限界を理解し，バイアスを可能な限り減らす努⼒が不可⽋処置群と対照群で異なり，⽬的変数に影響するすべての変数を網羅することが必要であり，現実的には限界がある． • 調査観察研究よりも実験研究を⾏うことが望ましい • 制御変数でバイアスを完全に取り除くことは⾮常に難しい • ビッグデータがあるプロジェクトほど，交絡変数を考える作業をサボる傾向があり，バイアスの影響を受けやすい
準実験検証の代表例差分の差分法・回帰不連続デザイン
差分の差分法 (Difference in Differences, DID) ランダムな処置・統制の割り付けが不可能でも，交絡変数を時間軸で制御する処置効果対照群処置群 t t+1 時点⽬的変数処置群の増加分が交絡要因＋処置によるものと仮定し，同期間の対照群の増加分と⽐較して因果効果を推定する⽅法
回帰不連続デザイン (Regression Discontinuity Design, RDD) ランダムな割り付けが不可能でも，まるで実験したかのような状況をうまく利⽤する連続変数(X)の値が特定のカットオフ点よりも⾼いか低いかによって処置群・統制群への割付が決まる(決められる)事象を利⽤した因果評価例︓成⼈になる20歳の前後で，飲酒が健康に与える効果カットオフ連続量の処置⽬的変数処置効果
Uberの需要供給曲線の算出需要と供給のバランスを調整して利益を最⼤化する需要曲線推定をシカゴ⼤学と実施 Cohen, P., Hahn, R., Hall, J., Levitt, S., & Metcalfe, R. (2016). Using big data to estimate consumer surplus: The case of uber (No. w22627). National Bureau of Economic Research. 回帰不連続デザインによる因果評価価格が1.2倍から1.3倍になると，消費率は約1.5%減少する統制群 (価格1.2倍を提⽰) 処置群 (価格1.3倍を提⽰) (需要逼迫指数) (消費率)
まとめ • ⼈間の意思決定は，あまりに多くのノイズとバイアスの影響を無意識に受けているため，成功確率を⾼めるには科学的検証が重要である • 失敗事例を無視して，成功事例から導いた結論は真実とは⾔い難く，異なる状況下でマネしても再現性は乏しい • 競合も有するデータから相関を導出しても，類似商品が溢れるだけ．解決されていない問題の発⾒と仮説⽴案・検証が差別化の源泉となる • 巨⼈の肩に乗って，根拠があり，⾏動を喚起する，新しい仮説を⽴案 • ランダムに割り当てた実験が可能な場合はランダム化，倫理的な問題等から困難な場合は傾向スコアに代表される調査観察研究を⾏う
END https://researchmap.jp/hm_tk

Marketing 08 ランダム化比較試験による仮説検証

Check these out next

Marketing 08 ランダム化比較試験による仮説検証

Recommended

More Related Content

Slideshows for you(20)

Similar to Marketing 08 ランダム化比較試験による仮説検証(20)

Recently uploaded(20)

Marketing 08 ランダム化比較試験による仮説検証