SlideShare a Scribd company logo
1 of 76
ランダム化⽐較試験による仮説検証
埼⽟⼤学 経済経営系⼤学院
加藤拓⺒
マーケティング #08
今回の位置付け
顧客管理と効果測定
戦略と実⾏
価値づくりの考え⽅
調査による客観的な状況把握
#01 マーケティング
#02 ブランドマネジメント
#04 市場調査
#08 ランダム化⽐較試験
#09 感性⼯学
#05 消費者⾏動
#06 回帰分析
#03 ロイヤルティとCRM
#10 クチコミ
#11 戦略と組織能⼒
仮説⽴案 具現化 検証
#07 知覚品質
#12 まとめ
対象のプロセス
コンセプト
検証
ラインナップ戦略 コンセプト
策定
知覚品質検証
価値づくり
市場反応
想定される社会変化・消費者の⽣活変化
を踏まえ,解決すべき問題は何か︖
どんな困っている⼈(実⽤+⼼理)に
どんな価値を提供するのか︖
そのコンセプトは
購⼊意向・⽀払意思額
を⾼めるか︖
コンセプトを⼀貫して,
かつ⾼い知覚品質で具現化できているか︖
消費者はコンセプトを感じ取り,
購⼊⾏動を起こしているか︖
ブランド評価
消費者のロイヤルティ
は⾼まっているか︖
価値づくりの活動全体を通じて,考え⽅と対応する科学的アプローチを議論する
2. 意思決定に必要な材料は因果関係
アジェンダ
4. 実験ができない場合の調査観察研究
1. 決められない⽇本の会議
3. 実験が可能な場合のランダム化⽐較試験
5. まとめ
2. 意思決定に必要な材料は因果関係
アジェンダ
4. 実験ができない場合の調査観察研究
1. 決められない⽇本の会議
3. 実験が可能な場合のランダム化⽐較試験
5. まとめ
「強い⼯場・弱い本社」症候群1
鍛えてきた現場能⼒の上に,迅速かつ成功確率の⾼い戦略の意思決定が必要
1: 藤本隆宏. (2004). ⽇本のもの造り哲学. ⽇本経済新聞社
⽇本のメーカーは,依然として現場のオペレーション能⼒は⾼い.
にもかかわらず,収益⼒で劣るのは,「戦略的な弱さ」が要因である.
• ⽇本経済が右肩上がりで伸びている時はオペレーション能⼒で
成⻑できたが,停滞する現在は本社の戦略・意思決定が必要
• オペレーションの強い組織は極端に下がることは少ないが,
その上に戦略があれば,確実に強くなる.
- ⽇本︓強い⼯場・弱い本社 → 安定的な利益
- 北⽶︓弱い⼯場・強い本社 → 短期間に⼤きな収益・損失
⻑らく指摘される,決められない⽇本の会議
優れた意思決定を,より多く,よりスピーディに下すためのプロセスが求められている
「会議の準備」という膨⼤な作業
意思決定の根拠が乏しく,判断⽅法が⼈によってバラバラならば,時間は当然かかる
1: Mankins, M. (2014). Yes, You Can Make Meetings More Productive. Harvard Business Review, https://hbr.org/2014/06/yes-you-can-make-meetings-more-productive.
2:パーソル総合研究所. (2018).無駄な社内会議による企業の損失額を算出従業員1万⼈規模で年間15億円,1500⼈規模で年間2億円の損失. https://rc.persol-
group.co.jp/news/201809060935.html
3: Mankins, M. C. (2004). Stop wasting valuable time. Harvard Business Review, 82(9), 58-67.
• ある⼤企業では,経営会議の準備に,150⼈分の年間業務量を費やしている1
• 1万⼈規模の企業では,無駄な会議時間は年間332⼈分の年間業務量に達する2
• 経営会議の65%以上は,意思決定ではなく,単なる情報交換等に使われる3
意思決定の根拠が曖昧なまま,決裁者によって求めるものが異なるため,
会議の準備・会議⾃体に膨⼤なムダが発⽣
無意識に⼊り込むノイズとバイアス
⼈が変わろうと,気分が変わろうと,企業にとって成功確率を⾼める努⼒は不可⽋
⼈間の意思決定は,無意識に,あまりに多くの影響を受けている
過去の経験,話題のニュース,報告部⾨・報告者,気分,空腹具合,天気,椅⼦の固さ...
1: Kahneman, D., Rosenfield, A. M., Gandhi, L., Blaser, T. (2016). Noise: How to overcome the high, hidden cost of inconsistent decision making. Harvard business
review, 94(10), 38-46.
ノイズが少ない
バイアスが少ない
成功確率の⾼い
意思決定
バイアスが⼤きく
いつも偏った意⾒
ノイズが⼤きく
コロコロ変わる
意思決定におけるノイズとバイアス1
意思決定にはびこるバイアス
経験は有益な1つの情報源だが,依存度合いが強いと意思決定を”無意識に”歪める
Soyer, E., Hogarth, R. M. (2015). Fooled by experience. Harvard Business Review, 93(5), 72-77.
結果
バイアス
利⽤可能性
バイアス
確証
バイアス
• プロセスより結果重視
• 偶然の成功を過信
• 1回の失敗で価値ある戦略を破棄
• ⾃分が思いつく範囲の情報に頼る
• ⾝近な情報を過⼤評価
• ⼿元のデータの偏りに気づかない
• 意向に沿わない情報を無意識に排除
• ⾃説を⽀持する情報を収集
• 質が低い過去の経験の記憶を過信
Googleの絶え間なき研究
社内のプロセス・制度を常に研究し,意思決定の質・スピードを持続的に向上
• 社員の質を妥協しないため16-25回⾯接していたがコストが⼤きかった
• そこで,⾯接者を1⼈増やすごとに採⽤の意思決定に与える影響を検証
• その結果5⼈⽬以降の⾯接者が意思決定に与える影響は乏しいと判明し,
「4回の法則」を定め,採⽤時間を最⼤180⽇から47⽇に短縮
⼤湾秀雄. (2017). ⽇本の⼈事を科学する: 因果推論に基づくデータ活⽤. ⽇本経済新聞出版社.
Google
Googleの絶え間なき研究
明確な⽬的のもと仮説を⽴案し,科学的検証を繰り返すことで意思決定の精度向上
中間
管理職
業績評価+部下による評価における良い管理職と悪い管理職では,
部下の⽣産性と定着度に⼤きな差があることを明らかにした.
良い管理職は「マイクロマネージしない」等の特徴を⽰し,管理職研修に活⽤.
年⾦積⽴
年⾦積⽴プラン(401k)の加⼊を従業員に促す際,ランダム化⽐較試験
によって,リマインダー数・提案⾦額による反応率の変化を明らかにした.
⼈材採⽤
⼤学の成績証明書をすべての求職者に要求していたが,卒業2-3年後では
仕事の成績に影響を与えないことが判明し,中途採⽤では提出不要とした.
⼤湾秀雄. (2017). ⽇本の⼈事を科学する: 因果推論に基づくデータ活⽤. ⽇本経済新聞出版社.
意思決定へのアプローチ
感覚的・場当たり的な意思決定と検証しない⽂化では,PDCAを回せない
あるべき意思決定 ありがちな意思決定
Plan
Do
Check
Action
根拠に基づく戦略
戦略
具現化
予測と実績の乖離
に対する原因分析
具体的
改善
Plan
Do
Check
Action
感覚的・場当たり的な戦略
戦略なき
全⽅位的
実⾏
科学的検証をせず
失敗を活かせない
単なる
次期計画
• 在宅勤務の検証はしたか︖
• 多様性導⼊の検証はしたか︖
• 採⽤基準の検証はしたか︖
例
意思決定に不可⽋な2つの視点
アートとサイエンスは選ぶものではなく,どちらも不可⽋である
将来の消費者感覚で
アイディアを導出
現在の消費者感覚で
科学的根拠を導出
アート サイエンス
2. 意思決定に必要な材料は因果関係
アジェンダ
4. 実験ができない場合の調査観察研究
1. 決められない⽇本の会議
3. 実験が可能な場合のランダム化⽐較試験
5. まとめ
成功事例をマネすればいいのではないか︖
成功企業の事例に潜む罠
失敗事例の収集はいつの時代も難しいため,思考を⽌めず,仮説検証を繰り返す
失敗事例を無視し,成功事例から導いた結論は,真実とは⾔い難い.
思考を停⽌し,成功企業の事例を集めて,思い込むことが恐ろしい.1
• 成功事例は,失敗事例を無視しており,因果関係を表していない可能性
(例︓成功した経営者は,全員が⽔を飲んだことがある)
• 成功ほど⼈間は検証しなため,成功事例が因果関係を表しているのかは不明
(例︓AI導⼊で販売が増加したとされた商品は,テレビ広告を増やしただけ)
1: Denrell, J. (2005). Selection bias and the perils of benchmarking. Harvard Business Review, 83(4), 114-9.
選択バイアスを回避した統計学者の意思決定
成功事例をいくら集めても因果関係の特定は難しく,そこから仮説を⽴てて検証すべき
第⼆次世界⼤戦中における攻撃に対する脆弱性への対策
• 帰還した戦闘機は⾚い点が集中被弾しており,その補強をしようとしていた
• しかし,統計学者のワルドは,被弾していない部分を強化すべきと提⾔した.
なぜなら,被弾しても帰還できたということは,そこは致命的な部位ではない.
Denrell, J. (2005). Selection bias and the perils of benchmarking. Harvard Business Review, 83(4), 114-9.
Image from: Wikipedia
成功事例から導かれた優秀企業の集落
過去の事象を扱う後ろ向き研究ではなく,ランダム化⽐較試験に代表される前向き研究が必要
Smith, G. (2014). Standard deviations: Flawed assumptions, tortured data, and other ways to lie with statistics. Abrams. (川添節⼦(訳). (2019).データは騙る: 改竄・捏造・不正
を⾒抜く統計学.早川書房)
• エクセレント・カンパニー出版の15年後には,優良企業は43社中5社のみ
• 成功企業の統計分析から導かれた結論は,いつも凋落の⼀途を辿る
• 成功企業の特徴を探せば何かしら共通点は⾒つかるが,因果効果ではない
Tom Peters (1982)
エクセレント・カンパニー
Jim Collins (1994)
ビジョナリー・カンパニー
表層の事例ではなく深層の⽂化
市場状況・他社動向・組織能⼒がまったく同じ状況でなければ,同じ成功は再現しない
⾒えやすい成功事例
成功を⽣む
意思決定・組織能⼒・⽂化
• なによりも根本的な思想に重きを置く
• Toyotaの実例を横展開しても,上⼿くいかないことを⼗分に理解
• 実際に教える具体的内容は,製品の特徴・企業の内情・現在の実⼒
によって柔軟に変える
全く同じ状況は存在しないため,表層の⽅法ばかりに着⽬しても効果は⼩さい
1: 藤本隆宏. (2004). ⽇本のもの造り哲学. ⽇本経済新聞社.
Toyota式カイゼンは「⽅法」ではなく「思想」
書籍等で得た具体内容をマネしただけで満⾜している組織に,
思想を植え付けると,短期間で⽣産性が何倍にも⾼まる
カイゼンを外部に伝える場合1
成功事例集めよりも,考え⽅を体得したうえで,⾃ら⼿を動かせる⽅がよほど重要
Toyotaの本当の強み
Toyotaのコアは,カンバン⽅式でも,JITでも,TQCでも,
ハイブリッドでも,⼈⼯知能でも,資本⼒でもない。
それは,「進化能⼒」である。
したがって,もしカンバン⽅式より有効な⽅法があれば,
すぐにカンバン⽅式を捨てられるのがToyotaである。
藤本隆宏. (2004). ⽇本のもの造り哲学. ⽇本経済新聞社.
意思決定に必要な材料
問題を発⾒し,仮説を⽴て,因果関係を実証する⼒こそが企業競争⼒となる
意思決定に最も必要な材料は,因果関係である
原因 結果問題
⽣産性の向上
プロジェクトチームの
多様性
閉塞的な思考による
商品企画の停滞
(例)
※解決したい問題なきまま,多様性を時代の”義務”と捉えていては効果は⼩さい
統計学の有⽤性に光を当てた,科学的な意思決定の⾮常に有名な事例
問題の発⾒
仮説⽴案
検証
意思決定⽀援
• 感染症の原因は負傷ではなく,不衛⽣な環境にあると推察
• ベッド間隔の拡張,換気,シーツの洗浄が効果的と仮説を⽴案
• 繰り返しの検証から,対策の効果を定量的に算出
• 数字嫌いなヴィクトリア⼥王にグラフでわかりやすく説明
ナイチンゲールの科学的な意思決定⽀援
野戦病院における感染症の発症率低減1
1: 新井紀⼦. (2018). AI vs. 教科書が読めない⼦どもたち. 東洋経済新報社.
ビッグデータの相関に溺れる
テレビ広告の効果測定
「数字を使う=科学的」ではなく,因果と(擬似)相関の区別が不可⽋である
• ターゲットの消費者が視聴しやすいテレビ番組に広告を出稿
• そもそも買いやすい⼈が広告を⾒ているため,⾒ていない⼈との⽐較は,
純粋な広告の効果にならない
誤った効果検証
もともと買いにくい⼈もともと買いやすい⼈
↑
テレビ広告
購買確率の⽐較
ビッグデータは競合他社も持っている
新たな価値を導出するには,⾃ら問題を発⾒し,仮説を⽴案し,検証すべき
原因 結果
あるべき姿
よくある例
解決されていない問題を考え,明らかにされていない因果効果を検証
他社も有するビッグデータから相関を⼤量に抽出
結果
…
(擬似)相関する
多数の変数
仮説
膨⼤な変数を使⽤して分析した場合,疑似相関を新たな発⾒と誤認する危険
擬似相関
⼩学⽣は⾜のサイズを⼤きくすれば計算能⼒が向上する︖
計算能⼒
年齢
⾜の
サイズ
相関
相関
疑似相関
この商品・サービスのコンセプトは何なのか︖どんな問題を解決してくれるのか︖
AI
ウェルネス
インクルーシブ
サステナブル
ロボティクス
デジタル
トランスフォー
メーション
コネクテッド
シェアリング
パーソナライズ
世界初の技術
オープン
イノベーション
コトづくり
デザイン
シンキング
⾃動運転
VR/AR
オムニチャネル
電動化
性能XX%up
相関に溺れた結末
• 未来の⽣活者のライフスタイルをアイディアシンキングで導出
• 5G・IoTによって収集した⼤規模消費者⾏動データを蓄積
• AIが1⼈1⼈のお客様の趣味嗜好に応じて最適なメニューを提案
• 価格体系はダイナミックプライシングを導⼊
• 顧客の表情を認識してコネクテッドロボットが情報を共有しながら接客
• 職⼈の鍋捌きを学習したロボティクス技術で調理
• ニューロサイエンスによって顧客の脳活動が活性化する素材を特定
• クラウド技術によって⾼度なセキュリティを保証
だから何なの︖⼀番⼤事な価値である味はどうなの︖店のコンセプト・雰囲気は︖
⼈⼯知能 × ロボティクスレストラン
1. そもそも解決したい問題が不明確
2. 問題の原因とその対策(仮説)を考える時間が圧倒的に少ない
3. 設計した調査・検証を実施しない (探索と検証が同じデータ)
4. 再現性を気にせず,1回の検証で結論を導出
5. (⽬的ドリブンではなく)⼿元にあるデータドリブン
6. 信頼性の乏しい膨⼤なデータを気にせず使⽤
7. (分析の前に)やりたいことが決まってる
相関を追い求めやすいプロジェクトの特徴
解決したい問題がないまま,トレンドを追い,ビッグデータを集め,相関を探すべからず
相関に溺れないために
問題に対する仮説を考える
コトづくり,サステナブル, 電動化, パーソナライズ, V2X, コネクテッド,
シェアリング, デジタル, ロボティクス, オープンイノベーション...
溢れる業界の ”ふんわりワード”
解決されていない問題と対策を考える作業をさぼり,業界トレンドで遊んではいけない
• 消費者に伝わらないトレンドワードが並ぶプロジェクトが氾濫
• 「顧客は何に困っているのか︖」「なぜそれを⾼いお⾦を払って
でも欲しいのか︖」を考えていない
「なぜ他社より⾼いお⾦を出してでも買いたいと思うのか」
という因果を考える⼈が少ない1
1: Christensen, C. M., Hall, T., Dillon, K., Duncan, D. S. (2016). Know your customersʼ jobs to be done. Harvard Business Review, 94(9), 54-62.
狂気的な仮説なきプロジェクト
仮説なきまま偶然成功した場合,再現性のないその⽅法が正当化されてしまい,最も恐ろしい
あるべきプロジェクトの進め⽅ 仮説なきプロジェクトの進み⽅
• 初めからゴールにいくわけがない
• 失敗から学ぶことが重要である
• アイディアを検証してみる
• 直接ゴールに⾏きたい
• 絶対に失敗してはいけない
• うまくいったように⾒せる
Start
Goal
Start
Goal
• 仮説なき議論は,ただの雑談
• 仮説なき調査は,⾦持ちの道楽
• 仮説なき分析は,価値のない宝探しゲーム
すべては仮説から
「解決されていない問題・対策を主観的に考える」ことが最も重要な仕事
• 「問題発⾒と仮説⽴案」「科学的検証能⼒」「失敗の数」が競争⼒
• 客観的に観察し,主観的に仮説を⽴て,冷徹なほど客観的に検証する
• 仮説検証から得るデータは,まだ他社が⾒たことないものになる
仮説とは
その仮説は,解決したい問題に対する因果関係を表しているか︖
解決したい問題に対する因果関係の仮定
仮説は,建築する前に設けられ,建物が出来上がると取り払われる⾜場である.
⾜場は作業する⼈になくてはならない.
ただし,作業する⼈は⾜場を建物だと思ってはならない.
ゲーテ
原因
x
結果
y
仮説
仮説の要件
1 根拠がある
データや経験に基づく論理的な考察ではなく,説明不能な案ではならない.
もし⽴証しても,そのメカニズムが不明では,再現性がない.
2 ⾏動を喚起できる
その仮説を⽴証することで,具体的な⾏動に繋がらなければ意味がない.
もし⽴証しても,観測・⾏動できなければ,対策しようがない.
3 新規性がある
すでに実証されていれば,お⾦と時間をかけて取り組む必要がない.
ただし,異なる条件下での検証や,再現性の検証は重要である.
その因果関係を⽴証することで,具体的な⾏動に移ることができるか︖
「先⼈の知」という宝
新たな発想はゼロから⽣まれるのではなく,先⼈の知という礎から⽣まれる
standing on the shoulders of Giants
巨⼈の肩の上に⽴つ
Isaac Newton
「ブレスト」ではなく「渾⾝のプレゼンのぶつけあい」
解決したい問題が曖昧なまま,事前準備なく,その場の感覚論では仮説は⽣まれない
よくあるブレスト
• 価値づくりの考え⽅の整合すらできていない寄せ集めメンバー
• 所詮その場の思いつきでしかなく,たいしたことは出てこない
• “いい感じ”のカスタマージャーニーマップができて⾃⼰満⾜
あるべき会議
• 同じ⽬的に対して,各⾃が異なるアプローチで真剣に検討
• ⽂献を⼤量に読み込み,調査し,アイディアを練りにねってくる
• 顧客の購⼊意向・⽀払意思額・ロイヤルティに寄与する仮説を導出
価値づくりの仕事
仮説⽴案
検証
• 重要な問題を発⾒したか︖
• どれだけ仮説を考えたか︖
• どれだけ試作したか︖
・価値を考える
・つくる
• 科学的に検証しているか︖
• どれだけ検証したか︖
• 消費者の実環境で検証したか︖
仮説⽴案・検証という仕事の時間を確保しているか︖
2. 意思決定に必要な材料は因果関係
アジェンダ
4. 実験ができない場合の調査観察研究
1. 決められない⽇本の会議
3. 実験が可能な場合のランダム化⽐較試験
5. まとめ
意味の乏しい⼈気投票
因果関係を表していないデータで,意思決定をしてはならない
• 競合他社の選択肢がない中で選択しても,井の中の蛙の可能性
• この環境下では好ましくても,実際に購⼊されるかは不明
• (すべての候補が並ぶ)実環境ではありえない状況で得た数字
Q. 次の中でどれが最も好ましいか︖
案A
案B
案C
案D
競合
他社
最も信頼できる理想的な検証⽅法は「タイムマシン」
タイムマシンがない現在は,科学的⽅法で上記の⽐較検証を実施する
新しい処置 従来の処置
未来
現在
⽐較
Aさん
新しい処置をした
未来のAさん
従来の処置をした
未来のAさん
そのデータは信頼性の⾼い検証⽅法から⽣まれたものか︖
科学的根拠としての信頼性
メタ分析
ランダム化⽐較試験
(RCT)
調査観察研究
回帰分析
信頼性
低
⾼
複数のランダム化⽐較試験
の結果を統合して結論を導出
最も信頼性が⾼い
因果効果の検証⽅法
実験ができない場合に
擬似的に無作為割付する⽅法
簡単にできるが,未知の交絡因⼦の
影響除外は困難
因果効果を推定する2つのアプローチ
ランダムに割り当てた実験が可能か否かによって,2つのアプローチに分けられる
因果効果
の推定
実験検証
調査観察検証
• 処置を施す処置群と施さない統制群を⽐較
• 最重要ポイントは,2群の無作為割当
• 例︓ランダム化⽐較試験 (RCT)
• 理論的・倫理的に, 処置の無作為割当が
困難な場合に観察データから因果推定
• 例︓傾向スコア
実験ができる場合
実験ができない場合
“因果効果の検証にRCT以外の⼿法を⽤いては,有害な結論を招く”とすら⾔われる
新しい処置 従来の処置
⽐較
ランダムに振り分けた
同質な2群
• 購⼊意向
• ⽀払意思額
• 推奨意向
ランダム化⽐較試験 (Randomized Controlled Trial, RCT)
消費者の実環境に合わせたRCT
消費者の普段の購⼊⾏動環境に合わせないと,実際の結果と乖離が⽣じてしまう
実環境に合わせるには,競合商品も含めて提⽰すべき
調査対象者
処置群
⾃社商品
+処置あり
競合商品1
競合商品K
…
統制群
⾃社商品
+処置なし
競合商品1
競合商品K
…
2008年アメリカ⼤統領戦 オバマ陣営のRCT
関係者や専⾨家の知⾒をもとに仮説を出すのは有益だが,結論は出してはいけない
⽀援者からの資⾦集めに向けて,メーリングリスト登録率が⾼まる
Webデザインを画像6案・ボタン4案を対象としたRCTで評価
• 「画像A+”SIGN UP”」が最も効果的だと選挙チームは想定 (統制群に設定)
• RCTの結果「画像B+”LEARN MORE”」が最も効果的で,来訪者の11.6%が
メーリングリストに登録した
A B C
Image from reference 1
1: Siroker, D. How Obama Raised $60 Million by Running a Simple Experiment. https://blog.optimizely.com/2010/11/29/how-obama-raised-60-
million-by-running-a-simple-experiment/
処置効果を歪める交絡
ビッグデータには⼈間の直感ではわからない交絡変数にまみれている
興味のある処置変数以外の変数に偏りがあるために,
処置効果の推定にバイアスがかかることを交絡と呼ぶ
⾼⾎圧
(処置)
⾼収⼊
(結果)
年齢
(交絡変数)
交絡変数︓処置と結果の両⽅に影響する変数
ランダム化しないと⽣じる交絡変数
観察で⼿に⼊れたデータは,交絡変数の影響を受けており,因果効果は不明
例︓1⽇平均10時間のゲームは寿命を縮めるか︖
観察データの場合,10時間ゲームをしている⼈は,
- 働いておらず,所得が低い可能性
- 運動が不⾜している可能性
- 不健康な⾷事ばかりしている可能性
- すでに病気を患っている可能性
といった交絡要因が多数影響することが想定される.
タコのパウルの予⾔ (2008年)
国旗のデザインという交絡変数が影響しないよう,国旗という変数を除外すべき
14試合中12試合の勝敗を正確に予測した背景1
• タコは,鮮やかな⾊と横⻑の形状を識別しやすい
• 14試合中ドイツ11回,スペイン2回,セルビア1回と全て横3本線の国旗を選択
• そして,当時はドイツが⾮常に強いチームであった
1: Smith, G. (2014). Standard deviations: Flawed assumptions, tortured data, and other ways to lie with statistics. Abrams.
もっての外である前後⽐較
平均への
回帰 施策前が偶然低いスコアだった場合,施策後は何もしなくともスコアが向上
あまりに多くのバイアスを受ける単純な(1群の)前後⽐較は,占いの世界と同じ
経時的な
変化 多様な時系列効果と施策の真の効果を分けて抽出することは困難
異なる
対象者 施策前後でまったく性質が異なる消費者で⽐較している可能性
施策前後の⽐較をすべきでない理由
褒めるとダメ︖
平均への回帰は,常に⾝近なところで発⽣しており,⼈間は振り回されやすい
“褒めるとその後失敗する” “叱るとその後成⻑する”
• 褒めようと思ったときは,たまたま成功した後
• 叱ろうと思ったときは,たまたま失敗した後
→ たまたま成功した後は,何をしようが次は前回を下回る可能性が⾼い
↑
↑
Googleの意思決定1
価値の判断を決めるのは消費者であり,検証によって迅速に意思決定を⾏う
• 意思決定は分析的かつ⺠主的 (≠感覚的・官僚的)
• ⽇々何千件という無作為抽出による実験(RCT)を⾏う
• 承認されたアイディアは,感覚ではなく検証で評価される
• デザインや広告,⾔葉遣いまで,異なるバージョンを⽤意して検証
1: Iyer, B., Davenport, T. H. (2008). Reverse engineering Google's innovation machine. Harvard Business Review, 86(4), 58-68.
Google
Uberの意思決定1
教科書や流⾏に固執せず,実データで検証し,成功確率の⾼い意思決定を実現
• 経済学の博⼠号を持つ専⾨家が分析部隊を率い,外部の専⾨家とも協業
• 「分析する価値がある企画なら,UberはRCTに積極的である」と⼤学の
研究者に呼びかけ
• ダイナミックプライシングによる需要曲線を科学的検証から推定し,
最適な価格設定の戦略に⽣かしている
1: 伊藤公⼀朗. (2017). データ分析の⼒ 因果関係に迫る思考法 (光⽂社新書).
Uber
ランダム化⽐較試験で検証すべき消費者の知覚
認知 消費者が知らないと何も始まらない
「買いたいほどではない」では価値ではない
「安いなら買う」では価値が低い
「1回で⼗分」では利益率が低い
(再購⼊意向・推奨意向)
コンセプトが理由で
なければ再現性が低い
購⼊意向
⽀払意思額
ロイヤルティ
コンセプト
想起率
(再)購⼊意向・⽀払意思額・コンセプト想起率の観点で,因果効果を検証する
RCTの調査設計のカギ
環境によって⾏動は⼤きく変わるため,物理的・⼼理的環境の設計が結果を左右する
ホーソン効果
注⽬を浴びることで,期待に応えようとする⼼理から,⾏動に良い変化が起きる
被験者に「誰が・何の検証を・どうやってしているのか」を意識させない
• 普段の環境と異なる要素はないか︖
• 処置の説明をしてしまっていないか︖
• 普段意識することがない項⽬を無理に聞いていないか︖
⽣産性向上の検証1
• ⼯場における照明の明るさや,報酬・休憩時間が⽣産性に与える影響を検証
• 従業員は実験対象に選ばれ,注⽬されているという意識から⽣産性が向上した
1: Mayo, E. (1933). The human problems of an industrial civilization. New York, Macmillan. (村本栄⼀訳. (1967). 産業⽂明における⼈間問題 ホーソン実験とその展開.⽇本能率協会)
検索トレンドに⾒る科学的検証の注⽬度
ディープラーニングよりも因果推論の利⽤すべき企業・⼈は多いが,注⽬度が低い
Googleでの検索量の推移1
1: Google Trend. 2004年1⽉­2020年3⽉, ⽇本
0
20
40
60
80
100
2004年1⽉
2005年1⽉
2006年1⽉
2007年1⽉
2008年1⽉
2009年1⽉
2010年1⽉
2011年1⽉
2012年1⽉
2013年1⽉
2014年1⽉
2015年1⽉
2016年1⽉
2017年1⽉
2018年1⽉
2019年1⽉
2020年1⽉
検索量(相対値)
回帰分析 ディープラーニング ランダム化⽐較試験 傾向スコア
ランダム化⽐較試験後の検定
データ形式別の統計検定⽅法
ランダム化⽐較試験で得たデータは,形式に基づいて,適切な検定⽅法を選択する
フリードマン検定
ウェルチのt検定
スチューデントのt検定 対応のあるt検定
分散分析
カイ⼆乗検定
フィッシャー正確確率検定
ブルンナー・ムンツェル検定
ウィルコクソンの順位和検定
マン-ホイットニーのU検定
フィッシャーの正確確率検定
ウィルコクソンの符号順位検定
マクネマー検定
クラスカル・ウォリス検定
データ形式
連続
カテゴリー
・2値
正規分布
2群
対応あり
多群
非正規分布
2群
対応なし 対応あり
多群
等分散
等分散を
仮定しない
2群
対応なし
セル内件数
が多い
セル内件数
が少ない
対応あり
多群
対応のある
t検定
分散分析
ブルンナー
・
ムンツェル
検定
ウィルコク
ソンの符号
順位検定
フリードマ
ン検定
ウィルコク
ソンの順位
和検定
or
マン-ホイッ
トニーのU
検定
カイ二乗
検定
フィッシャ
ーの正確
確率検定
マクネマー
検定
対応なし
等分散
等分散を
仮定しない
ウェルチのt
検定
スチューデ
ントのt検定
クラスカル
・ウォリス
検定
対応なし 対応あり セル内件数
が多い
セル内件数
が少ない
カイ二乗
検定
フィッシャ
ーの正確
確率検定
サンプルサイズが⼤きすぎると,無意味な差でも有意差としてしまう.
⼀⽅で,⼩さすぎると,本来は意味のある差でも,検出できなくなる.
よって,検定⼒分析によって,適正なサンプルサイズを調査前に決める.
サンプルサイズ設計
近年の実証研究では,サンプルサイズの決定⽅法の記載がないと採択されない
• 有意⽔準は,帰無仮説が真のとき,その仮説を誤って棄却してしまう確率
• 検定⼒は,帰無仮説が偽のとき,その仮説を正しく棄却できる確率
• 効果量は,「効果がない」という帰無仮説に対して,対⽴仮説がどの程度
異なっているのかを量的に⽰したもの
有意⽔準 検定⼒ 効果量 サンプルサイズ
統計検定における4つの要素 (このうち3つを決めれば残りが決まる)
真実
帰無仮説が真 帰無仮説が偽
検定
結果
帰無仮説を棄却しない
正しい判断
確率=1-α
第2種の過誤
確率β
帰無仮説を棄却する
第1種の過誤
確率α (有意⽔準)
正しい判断
確率=1-β (検定⼒)
第⼀種の過誤と第⼆種の過誤
“あわて者の誤り” “ぼんやり者の誤り”
2つの過誤の確率を同時に下げることはできないため,αを5%に固定することが⼀般的
Image from:unbiasedresearch.blogspot.com
検査精度 ≠ 実際に病気の確率
p値は処置の効果量や重要性,「正しい確率」を測定するものではない
• 検定⼒︓正しく有意差(病気があること)を検出できる確率
• p値 ︓実際に差がない(病気ではない)のに,偶然差があると判断してしまう確率
Q. ある病気に対する検査の検定⼒が90%,p値が5%のとき,
検査で陽性の判定が出た場合に,実際に病気にかかっている確率は︖
ただし,検査受診者のうち,0.8%が病気にかかっていると仮定する.
検査受診者
1,000⼈ 病気でない⼈
992⼈
病気の⼈
8⼈
誤って陽性判定
50⼈
正しく陽性検知
7⼈
0.8%が病気
(神のみぞ知る値)
検定⼒90%
(8*0.9=7.2⼈)
p値5%
(992*0.05=49.6⼈)
7÷57=12.3%
2. 意思決定に必要な材料は因果関係
アジェンダ
4. 実験ができない場合の調査観察研究
1. 決められない⽇本の会議
3. 実験が可能な場合のランダム化⽐較試験
5. まとめ
因果効果を推定する2つのアプローチ
倫理的問題や現実的な制約からランダム化ができない場合の検証⽅法
因果効果
の推定
実験検証
調査観察検証
• 処置を施す処置群と施さない統制群を⽐較
• 最重要ポイントは,2群の無作為割当
• 例︓ランダム化⽐較試験 (RCT)
• 理論的・倫理的に, 処置の無作為割当が
困難な場合に観察データから因果推定
• 例︓傾向スコア
実験ができる場合
実験ができない場合
観察データからそのまま結論を導くべきではない
「仮説の導出」と「仮説の検証」を,同じ調査・データで⾏っては断じてならない
• ランダム化していない観察データは⼈間が気付かない交絡変数だらけ
で,因果効果を評価することは困難である
• 観察データからパターンを導き出し,仮説を導出することは有益だが,
仮説を「証明された理論」と勘違いして意思決定してはいけない
• AI×ビッグデータは(擬似)相関まみれの汚い結果であることを認識し,
専⽤の調査によってランダム化⽐較試験を必ず⾏う
調査観察研究の代表⼿法︓傾向スコア
傾向スコアが近接している⼈をマッチングし,後から両群を同質化することで因果効果を推定
傾向スコアとは,複数の共変量を1変数に集約して求めた処置が⾏われる確率
を表し,傾向スコアが同質な2群に分けて処置の因果効果を推定する
※⼤きさ=傾向スコア
この2群で効果を⽐較
効果
観察した集団 マッチングした集団 ⽐較検証
処置群 統制群
vs
調査観察研究の代表例
2社の⽔道利⽤者のうち,性別・年収・職業等を同質化して,⽔道の影響を因果評価
1894年ロンドンにおけるコレラの発⽣原因の特定
• コレラの原因は,汚染された空気と考えられていた
• 「テムズ川に放出された下⽔を飲み⽔に循環していることが原因」と仮説⽴案
• ランダム化⽐較試験の実施は困難なため,調査観察研究の実施を模索
• ちょうどその時期に,ロンドンの2⼤⽔道局の1社が,テムズ川以外の地域から
⽔を引く⼯事を実施したため,2社の⽔道利⽤者の差異を検証した
• その結果,テムズ川の⽔道利⽤者に有意にコレラが発⽣したことが判明
Smith, G. (2014). Standard deviations: Flawed assumptions, tortured data, and other ways to lie with statistics. Abrams.
傾向スコアの限界
調査観察研究の限界を理解し,バイアスを可能な限り減らす努⼒が不可⽋
処置群と対照群で異なり,⽬的変数に影響するすべての変数を網羅する
ことが必要であり,現実的には限界がある.
• 調査観察研究よりも実験研究を⾏うことが望ましい
• 制御変数でバイアスを完全に取り除くことは⾮常に難しい
• ビッグデータがあるプロジェクトほど,交絡変数を考える作業
をサボる傾向があり,バイアスの影響を受けやすい
準実験検証の代表例
­差分の差分法・回帰不連続デザイン­
差分の差分法 (Difference in Differences, DID)
ランダムな処置・統制の割り付けが不可能でも,交絡変数を時間軸で制御する
処置効果
対照群
処置群
t t+1 時点
⽬的変数
処置群の増加分が交絡要因+処置によるものと仮定し,
同期間の対照群の増加分と⽐較して因果効果を推定する⽅法
回帰不連続デザイン (Regression Discontinuity Design, RDD)
ランダムな割り付けが不可能でも,まるで実験したかのような状況をうまく利⽤する
連続変数(X)の値が特定のカットオフ点よりも⾼いか低いかによって
処置群・統制群への割付が決まる(決められる)事象を利⽤した因果評価
例︓成⼈になる20歳の前後で,飲酒が健康に与える効果
カットオフ 連続量の処置
⽬的変数
処置効果
Uberの需要供給曲線の算出
需要と供給のバランスを調整して利益を最⼤化する需要曲線推定をシカゴ⼤学と実施
Cohen, P., Hahn, R., Hall, J., Levitt, S., & Metcalfe, R. (2016). Using big data to estimate consumer surplus: The case of uber (No. w22627). National Bureau of
Economic Research.
回帰不連続デザインによる因果評価
価格が1.2倍から1.3倍になると,消費率は約1.5%減少する
統制群
(価格1.2倍を提⽰)
処置群
(価格1.3倍を提⽰)
(需要逼迫指数)
(消費率)
2. 意思決定に必要な材料は因果関係
アジェンダ
4. 実験ができない場合の調査観察研究
1. 決められない⽇本の会議
3. 実験が可能な場合のランダム化⽐較試験
5. まとめ
まとめ
• ⼈間の意思決定は,あまりに多くのノイズとバイアスの影響を無意識
に受けているため,成功確率を⾼めるには科学的検証が重要である
• 失敗事例を無視して,成功事例から導いた結論は真実とは⾔い難く,
異なる状況下でマネしても再現性は乏しい
• 競合も有するデータから相関を導出しても,類似商品が溢れるだけ.
解決されていない問題の発⾒と仮説⽴案・検証が差別化の源泉となる
• 巨⼈の肩に乗って,根拠があり,⾏動を喚起する,新しい仮説を⽴案
• ランダムに割り当てた実験が可能な場合はランダム化,倫理的な問題
等から困難な場合は傾向スコアに代表される調査観察研究を⾏う
END
https://researchmap.jp/hm_tk

More Related Content

What's hot

グラフィカルモデル入門
グラフィカルモデル入門グラフィカルモデル入門
グラフィカルモデル入門Kawamoto_Kazuhiko
 
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化marsee101
 
金融情報における時系列分析
金融情報における時系列分析金融情報における時系列分析
金融情報における時系列分析Fujio Toriumi
 
確率統計-機械学習その前に v2.0
確率統計-機械学習その前に v2.0確率統計-機械学習その前に v2.0
確率統計-機械学習その前に v2.0Hidekatsu Izuno
 
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用Hiroyuki Masuda
 
2015年因果フェススライド
2015年因果フェススライド2015年因果フェススライド
2015年因果フェススライドJun Otsuka
 
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介Taku Yoshioka
 
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説Shiga University, RIKEN
 
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム貴之 八木
 
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性Ichigaku Takigawa
 
みどりぼん読書会 第4章
みどりぼん読書会 第4章みどりぼん読書会 第4章
みどりぼん読書会 第4章Masanori Takano
 
傾向スコアの概念とその実践
傾向スコアの概念とその実践傾向スコアの概念とその実践
傾向スコアの概念とその実践Yasuyuki Okumura
 
深層学習の数理
深層学習の数理深層学習の数理
深層学習の数理Taiji Suzuki
 
ベイジアンディープニューラルネット
ベイジアンディープニューラルネットベイジアンディープニューラルネット
ベイジアンディープニューラルネットYuta Kashino
 
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章Shuyo Nakatani
 
Tokyor22 selection bias
Tokyor22 selection biasTokyor22 selection bias
Tokyor22 selection biasYohei Sato
 
セミパラメトリック推論の基礎
セミパラメトリック推論の基礎セミパラメトリック推論の基礎
セミパラメトリック推論の基礎Daisuke Yoneoka
 
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-Shiga University, RIKEN
 
【CVPR 2020 メタサーベイ】Image Retrieval
【CVPR 2020 メタサーベイ】Image Retrieval【CVPR 2020 メタサーベイ】Image Retrieval
【CVPR 2020 メタサーベイ】Image Retrievalcvpaper. challenge
 

What's hot (20)

グラフィカルモデル入門
グラフィカルモデル入門グラフィカルモデル入門
グラフィカルモデル入門
 
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
「ゼロから作るDeep learning」の畳み込みニューラルネットワークのハードウェア化
 
金融情報における時系列分析
金融情報における時系列分析金融情報における時系列分析
金融情報における時系列分析
 
確率統計-機械学習その前に v2.0
確率統計-機械学習その前に v2.0確率統計-機械学習その前に v2.0
確率統計-機械学習その前に v2.0
 
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
 
2015年因果フェススライド
2015年因果フェススライド2015年因果フェススライド
2015年因果フェススライド
 
自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介自動微分変分ベイズ法の紹介
自動微分変分ベイズ法の紹介
 
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
 
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
 
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
 
みどりぼん読書会 第4章
みどりぼん読書会 第4章みどりぼん読書会 第4章
みどりぼん読書会 第4章
 
傾向スコアの概念とその実践
傾向スコアの概念とその実践傾向スコアの概念とその実践
傾向スコアの概念とその実践
 
主成分分析
主成分分析主成分分析
主成分分析
 
深層学習の数理
深層学習の数理深層学習の数理
深層学習の数理
 
ベイジアンディープニューラルネット
ベイジアンディープニューラルネットベイジアンディープニューラルネット
ベイジアンディープニューラルネット
 
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
 
Tokyor22 selection bias
Tokyor22 selection biasTokyor22 selection bias
Tokyor22 selection bias
 
セミパラメトリック推論の基礎
セミパラメトリック推論の基礎セミパラメトリック推論の基礎
セミパラメトリック推論の基礎
 
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
 
【CVPR 2020 メタサーベイ】Image Retrieval
【CVPR 2020 メタサーベイ】Image Retrieval【CVPR 2020 メタサーベイ】Image Retrieval
【CVPR 2020 メタサーベイ】Image Retrieval
 

Similar to Marketing 08 ランダム化比較試験による仮説検証

Marketing 04 客観的に状況を把握する市場調査
Marketing 04 客観的に状況を把握する市場調査Marketing 04 客観的に状況を把握する市場調査
Marketing 04 客観的に状況を把握する市場調査Meiji University / 明治大学
 
Marketing 02 商品・サービスのブランドマネジメント
Marketing 02 商品・サービスのブランドマネジメントMarketing 02 商品・サービスのブランドマネジメント
Marketing 02 商品・サービスのブランドマネジメントMeiji University / 明治大学
 
Marketing 03 利益の源泉であるロイヤルティとCRM
Marketing 03 利益の源泉であるロイヤルティとCRMMarketing 03 利益の源泉であるロイヤルティとCRM
Marketing 03 利益の源泉であるロイヤルティとCRMMeiji University / 明治大学
 
本を読んでもわからないリアルなアンケート実践法
本を読んでもわからないリアルなアンケート実践法本を読んでもわからないリアルなアンケート実践法
本を読んでもわからないリアルなアンケート実践法takashi sasaki
 
Marketing 07 コンセプト具現化の要諦である知覚品質
Marketing 07 コンセプト具現化の要諦である知覚品質Marketing 07 コンセプト具現化の要諦である知覚品質
Marketing 07 コンセプト具現化の要諦である知覚品質Meiji University / 明治大学
 
第8回 スキルアップ勉強会
第8回 スキルアップ勉強会第8回 スキルアップ勉強会
第8回 スキルアップ勉強会Kenichi Takara
 
マーケティング視点で捉えるアクセス解析 株式会社真摯
マーケティング視点で捉えるアクセス解析 株式会社真摯マーケティング視点で捉えるアクセス解析 株式会社真摯
マーケティング視点で捉えるアクセス解析 株式会社真摯Yasuki Ichishima
 
Mktg02 マーケティングとは何か
Mktg02 マーケティングとは何かMktg02 マーケティングとは何か
Mktg02 マーケティングとは何かTakeshi Matsui
 
プロのコンサルタントとビジネスプランを作る! 「LABO ASIA」第2ターム第2回
プロのコンサルタントとビジネスプランを作る! 「LABO ASIA」第2ターム第2回プロのコンサルタントとビジネスプランを作る! 「LABO ASIA」第2ターム第2回
プロのコンサルタントとビジネスプランを作る! 「LABO ASIA」第2ターム第2回LABO ASIA
 
Jmrx講演資料0723(配布用)[1]
Jmrx講演資料0723(配布用)[1]Jmrx講演資料0723(配布用)[1]
Jmrx講演資料0723(配布用)[1]Shigeru Kishikawa
 
45分で理解する_マーケティング・システム入門_斉藤之雄
45分で理解する_マーケティング・システム入門_斉藤之雄45分で理解する_マーケティング・システム入門_斉藤之雄
45分で理解する_マーケティング・システム入門_斉藤之雄Yukio Saito
 
Learning kotler's basic marketing in one hour
Learning kotler's basic marketing in one hourLearning kotler's basic marketing in one hour
Learning kotler's basic marketing in one hourKoichi Okubo
 
広研塾 (山廣・浅田)
広研塾 (山廣・浅田)広研塾 (山廣・浅田)
広研塾 (山廣・浅田)Naoki Matsuda
 
キャリアデザイン力養成講座(信田)
キャリアデザイン力養成講座(信田)キャリアデザイン力養成講座(信田)
キャリアデザイン力養成講座(信田)Seminer Goodfind
 
サンプル_IT起業家のためのM&Aイグジットバイブル
サンプル_IT起業家のためのM&Aイグジットバイブルサンプル_IT起業家のためのM&Aイグジットバイブル
サンプル_IT起業家のためのM&AイグジットバイブルSamurai Incubate Inc.
 
マーケティング・マネージメント Part2
マーケティング・マネージメント Part2マーケティング・マネージメント Part2
マーケティング・マネージメント Part2shotamura
 
45分で理解する マーケティングリサーチ・トレンド入門 斉藤之雄
45分で理解する マーケティングリサーチ・トレンド入門 斉藤之雄45分で理解する マーケティングリサーチ・トレンド入門 斉藤之雄
45分で理解する マーケティングリサーチ・トレンド入門 斉藤之雄Yukio Saito
 
【コンサル起業実践講座】売れるコンサルになる為のUSP(コンセプト)の作り方
【コンサル起業実践講座】売れるコンサルになる為のUSP(コンセプト)の作り方【コンサル起業実践講座】売れるコンサルになる為のUSP(コンセプト)の作り方
【コンサル起業実践講座】売れるコンサルになる為のUSP(コンセプト)の作り方伊藤 剛志
 

Similar to Marketing 08 ランダム化比較試験による仮説検証 (20)

Marketing 04 客観的に状況を把握する市場調査
Marketing 04 客観的に状況を把握する市場調査Marketing 04 客観的に状況を把握する市場調査
Marketing 04 客観的に状況を把握する市場調査
 
Marketing 02 商品・サービスのブランドマネジメント
Marketing 02 商品・サービスのブランドマネジメントMarketing 02 商品・サービスのブランドマネジメント
Marketing 02 商品・サービスのブランドマネジメント
 
Marketing 03 利益の源泉であるロイヤルティとCRM
Marketing 03 利益の源泉であるロイヤルティとCRMMarketing 03 利益の源泉であるロイヤルティとCRM
Marketing 03 利益の源泉であるロイヤルティとCRM
 
本を読んでもわからないリアルなアンケート実践法
本を読んでもわからないリアルなアンケート実践法本を読んでもわからないリアルなアンケート実践法
本を読んでもわからないリアルなアンケート実践法
 
Marketing 07 コンセプト具現化の要諦である知覚品質
Marketing 07 コンセプト具現化の要諦である知覚品質Marketing 07 コンセプト具現化の要諦である知覚品質
Marketing 07 コンセプト具現化の要諦である知覚品質
 
第8回 スキルアップ勉強会
第8回 スキルアップ勉強会第8回 スキルアップ勉強会
第8回 スキルアップ勉強会
 
Marketing 11 戦略と組織能力
Marketing 11 戦略と組織能力Marketing 11 戦略と組織能力
Marketing 11 戦略と組織能力
 
マーケティング視点で捉えるアクセス解析 株式会社真摯
マーケティング視点で捉えるアクセス解析 株式会社真摯マーケティング視点で捉えるアクセス解析 株式会社真摯
マーケティング視点で捉えるアクセス解析 株式会社真摯
 
Mktg02 マーケティングとは何か
Mktg02 マーケティングとは何かMktg02 マーケティングとは何か
Mktg02 マーケティングとは何か
 
プロのコンサルタントとビジネスプランを作る! 「LABO ASIA」第2ターム第2回
プロのコンサルタントとビジネスプランを作る! 「LABO ASIA」第2ターム第2回プロのコンサルタントとビジネスプランを作る! 「LABO ASIA」第2ターム第2回
プロのコンサルタントとビジネスプランを作る! 「LABO ASIA」第2ターム第2回
 
Jmrx講演資料0723(配布用)[1]
Jmrx講演資料0723(配布用)[1]Jmrx講演資料0723(配布用)[1]
Jmrx講演資料0723(配布用)[1]
 
45分で理解する_マーケティング・システム入門_斉藤之雄
45分で理解する_マーケティング・システム入門_斉藤之雄45分で理解する_マーケティング・システム入門_斉藤之雄
45分で理解する_マーケティング・システム入門_斉藤之雄
 
Learning kotler's basic marketing in one hour
Learning kotler's basic marketing in one hourLearning kotler's basic marketing in one hour
Learning kotler's basic marketing in one hour
 
広研塾 (山廣・浅田)
広研塾 (山廣・浅田)広研塾 (山廣・浅田)
広研塾 (山廣・浅田)
 
キャリアデザイン力養成講座(信田)
キャリアデザイン力養成講座(信田)キャリアデザイン力養成講座(信田)
キャリアデザイン力養成講座(信田)
 
Marketing 10 クチコミの影響力と効果測定
Marketing 10 クチコミの影響力と効果測定Marketing 10 クチコミの影響力と効果測定
Marketing 10 クチコミの影響力と効果測定
 
サンプル_IT起業家のためのM&Aイグジットバイブル
サンプル_IT起業家のためのM&Aイグジットバイブルサンプル_IT起業家のためのM&Aイグジットバイブル
サンプル_IT起業家のためのM&Aイグジットバイブル
 
マーケティング・マネージメント Part2
マーケティング・マネージメント Part2マーケティング・マネージメント Part2
マーケティング・マネージメント Part2
 
45分で理解する マーケティングリサーチ・トレンド入門 斉藤之雄
45分で理解する マーケティングリサーチ・トレンド入門 斉藤之雄45分で理解する マーケティングリサーチ・トレンド入門 斉藤之雄
45分で理解する マーケティングリサーチ・トレンド入門 斉藤之雄
 
【コンサル起業実践講座】売れるコンサルになる為のUSP(コンセプト)の作り方
【コンサル起業実践講座】売れるコンサルになる為のUSP(コンセプト)の作り方【コンサル起業実践講座】売れるコンサルになる為のUSP(コンセプト)の作り方
【コンサル起業実践講座】売れるコンサルになる為のUSP(コンセプト)の作り方
 

Recently uploaded

MEDICINA LEGAL - SEXOLOGÍA FORENSE
MEDICINA  LEGAL   -   SEXOLOGÍA  FORENSEMEDICINA  LEGAL   -   SEXOLOGÍA  FORENSE
MEDICINA LEGAL - SEXOLOGÍA FORENSENayelhiTA
 
IoTデバイスとGrafanaと私(2024/5/18 IoT LT新潟の発表資料)
IoTデバイスとGrafanaと私(2024/5/18 IoT LT新潟の発表資料)IoTデバイスとGrafanaと私(2024/5/18 IoT LT新潟の発表資料)
IoTデバイスとGrafanaと私(2024/5/18 IoT LT新潟の発表資料)Taisuke Watanabe
 
2024-05-14 TECH TALK Talend Studio with SAP Integration
2024-05-14 TECH TALK Talend Studio with SAP Integration2024-05-14 TECH TALK Talend Studio with SAP Integration
2024-05-14 TECH TALK Talend Studio with SAP IntegrationQlikPresalesJapan
 
2024/05/21_Qlik Web セミナー_Qlik の戦略と製品のご紹介
2024/05/21_Qlik Web セミナー_Qlik の戦略と製品のご紹介2024/05/21_Qlik Web セミナー_Qlik の戦略と製品のご紹介
2024/05/21_Qlik Web セミナー_Qlik の戦略と製品のご紹介QlikPresalesJapan
 
OneDriveからファイルが消えてしまいました?ファイルを復元する方法はこちら!
OneDriveからファイルが消えてしまいました?ファイルを復元する方法はこちら!OneDriveからファイルが消えてしまいました?ファイルを復元する方法はこちら!
OneDriveからファイルが消えてしまいました?ファイルを復元する方法はこちら!ivanwang53
 
データ復元する方法|Windowsを再インストールした後にファイルを復元する方法
データ復元する方法|Windowsを再インストールした後にファイルを復元する方法データ復元する方法|Windowsを再インストールした後にファイルを復元する方法
データ復元する方法|Windowsを再インストールした後にファイルを復元する方法ivanwang53
 
2024/05/21_生成AI どう使う?ChatGPT の機能と限界と活用事例
2024/05/21_生成AI どう使う?ChatGPT の機能と限界と活用事例2024/05/21_生成AI どう使う?ChatGPT の機能と限界と活用事例
2024/05/21_生成AI どう使う?ChatGPT の機能と限界と活用事例QlikPresalesJapan
 

Recently uploaded (7)

MEDICINA LEGAL - SEXOLOGÍA FORENSE
MEDICINA  LEGAL   -   SEXOLOGÍA  FORENSEMEDICINA  LEGAL   -   SEXOLOGÍA  FORENSE
MEDICINA LEGAL - SEXOLOGÍA FORENSE
 
IoTデバイスとGrafanaと私(2024/5/18 IoT LT新潟の発表資料)
IoTデバイスとGrafanaと私(2024/5/18 IoT LT新潟の発表資料)IoTデバイスとGrafanaと私(2024/5/18 IoT LT新潟の発表資料)
IoTデバイスとGrafanaと私(2024/5/18 IoT LT新潟の発表資料)
 
2024-05-14 TECH TALK Talend Studio with SAP Integration
2024-05-14 TECH TALK Talend Studio with SAP Integration2024-05-14 TECH TALK Talend Studio with SAP Integration
2024-05-14 TECH TALK Talend Studio with SAP Integration
 
2024/05/21_Qlik Web セミナー_Qlik の戦略と製品のご紹介
2024/05/21_Qlik Web セミナー_Qlik の戦略と製品のご紹介2024/05/21_Qlik Web セミナー_Qlik の戦略と製品のご紹介
2024/05/21_Qlik Web セミナー_Qlik の戦略と製品のご紹介
 
OneDriveからファイルが消えてしまいました?ファイルを復元する方法はこちら!
OneDriveからファイルが消えてしまいました?ファイルを復元する方法はこちら!OneDriveからファイルが消えてしまいました?ファイルを復元する方法はこちら!
OneDriveからファイルが消えてしまいました?ファイルを復元する方法はこちら!
 
データ復元する方法|Windowsを再インストールした後にファイルを復元する方法
データ復元する方法|Windowsを再インストールした後にファイルを復元する方法データ復元する方法|Windowsを再インストールした後にファイルを復元する方法
データ復元する方法|Windowsを再インストールした後にファイルを復元する方法
 
2024/05/21_生成AI どう使う?ChatGPT の機能と限界と活用事例
2024/05/21_生成AI どう使う?ChatGPT の機能と限界と活用事例2024/05/21_生成AI どう使う?ChatGPT の機能と限界と活用事例
2024/05/21_生成AI どう使う?ChatGPT の機能と限界と活用事例
 

Marketing 08 ランダム化比較試験による仮説検証