schoo WEB-campus http://schoo.jp/class/223

1. 【分析のリアルがここに！現場で使える分析講座】
第3回_̲ケーススタディ
吉永 恵⼀一 (Keiichi Yoshinaga)

2. 2回⽬目_̲分析設計講座のアジェンダ
0．前回までのおさらい
1．ケーススタディ
2．終わりに

3. 【再掲】全3回の講義内容の紹介
1回⽬目
実務家向け
統計講座
統計という名の武器を
⾝身に付ける
2回⽬目
分析設計
講座
ビジネス課題を分析
課題へ落落とし込む
3回⽬目
ケース
スタディ
1,2回の知識識やスキル
で課題を体感する

4. コンサルティング会社、マーケティングリサーチ会社などを経て、
2010年 株式会社リクルート MIT入社(現リクルートテクノロジーズ)
【As a Data Scientist】
・CV予測アルゴリズムの開発
・広告予算最適化モジュールの開発
2012年 住宅カンパニーへ移動（現リクルート住まいカンパニー）
【As a Marketer】
・データ・マネジメントの企画・立案 ※詳細は次ページ
-予測・シミュレーションを用いたCM投資額の策定
-最適化技術を用いた広告ポートフォリオの策定
-パーソナライズ・リコメンデーションの実装
-コンジョイント調査を用いたWEBサイト改善のプランニング
2013年 株式会社 分析屋本舗を起業
【As a Entrepreneur】
・需要予測や広告予算最適化、分析者養成を核とした業務支援サービス
⾃自⼰己紹介

5. 前回までのおさらい

6. ①現状把握 ②未来予測 ③シミュレート ④最適化
Ｘ
Ｙ
time
CV
time
CV
alliance
12,000
banner
6,000listing
12,000
SEO
12,000
affiliate
6,000
tttttt Xry βμ tttttt Xry βμ
500100
1000200
:_
)(:
Banner
Listing
toSubject
GainMaxObjective
データ分析を⽤用いた意思決定サイクル

7. データ＝構造（系統的な変動）＋誤差（偶然的な変動）
データの特徴は、必ず分布と数値の両方で確認する
分析結果（Fact）を解釈する際には、常に課題に立ち返る
前々回の授業の重要ポイント！！

8. データの特徴は、必ず分布と数値の両⽅方で確認する！！ 1/2

9. データの特徴は、必ず分布と数値の両⽅方で確認する！！ 2/2

10. 【再掲】平均値の罠
データが正規分布している場合に、平均値が代表値として機能する。
この場合は、中央値も平均値と合わせて⾒見見ることが必要。

11. 前回の重要ポイント
ビジネスサイクルによって、検討するべき課題は異なる！
ビジネス課題の分析課題への落とし込みが肝！
課題を落とし込む際には、常に仮説を持つことが重要！

12. ビジネス課題を分析的にすべて解決できるわけでは
ありません。
分析課題はビジネス課題の中に内包されています。
ビジネス課題のどの部分をどのように分析課題に
落落とし込むのか、または、どの部分は落落としこめない
のかを交通整理理することが分析設計の第⼀一歩です。
分析課題
分析課題
ビジネス課題と分析課題との関係性

13. 2つの仮説に対するアプローチ
仮
説
仮説を探索する
仮説を関連付ける
関連性の輪を広げる
輪の重なりを固める
仮説を持つ
検証Goalを定める
検証Stepを決める
仮説を確かめる
仮
説
仮
説
1
仮
説
2
仮
説
3
ビジネス課題1
ビジネス課題2
A
B
%
Step
1
Step
2
step
3
データ
の調査
母集団
定義
集計・
分析
【仮説発⾒見見アプローチ】
【仮説検証アプローチ】

14. 2つのアプローチの特徴
アジャイル型
仮説発⾒見見アプローチ 仮説検証アプローチ
ウォーターフォール型
スピードを重視し、ユーザー
のニーズを逐次受け⼊入れながら
進めていくやり⽅方。
⽬目的に合わせて実施内容を
構造化し、前⼯工程に戻らない
ように進めていくやり⽅方。

15. 利利益を最⼤大にするには？
売上を最⼤大にする コストを最⼩小にする
利利⽤用回数を増やす 利利⽤用単価を増やす
潜
在
ユ
ー
ザ
ー
を
顕
在
化
さ
せ
る
新
規
ユ
ー
ザ
ー
を
リ
ピ
ー
タ
ー
に
す
る
リ
ピ
ー
タ
ー
を
ロ
イ
ヤ
ル
化
す
る
ク
ロ
ス
セ
ル
を
推
進
す
る
ア
プ
セ
ル
を
推
進
す
る
集客コストを
最適にする
WEB開発コストを
最適にする
無
料料
集
客
を
推
進
す
る
有
料料
集
客
を
最
適
化
す
る
サ
イ
ト
開
発
を
最
適
化
す
る
運
⽤用
シ
ス
テ
ム
を
最
適
化
す
る
ロジックツリーをもちいたビジネス課題の整理理

16. ＤＢ図やベン図を⽤用いた⺟母集団定義
全体
N=5,000,000
DB図を⽤用いた⽅方法 ベン図を⽤用いた⽅方法
アクティブユーザー
N=1,000,000
Cvユーザー
N=300,000
全体 N=5,000,000
アクティブユーザー N=1,000,000
Cvユーザー N=300,000
DB図の⼤大きさで、分析対象者の絞り込み
を可視化する。Nullや不不良良ユーザーの
仕分けに⽤用いることが多い。
ベン図でユーザーがMECEになるように
可視化する。ユーザーの重複なく、どの
ユーザーを分析対象者にするのかを
整理理する際に⽤用いることが多い。

17. 分析設計のツボ
どのアウトプットがあれば、ＯＫなのか？
効果測定期間のアクティブ
ユーザー N=300,000
キャンペーン
⾮非接触ユーザー
キャンペーン
接触ユーザー
Cvユーザー
⾮非Cvユーザー
●% ▲%
【Output】
0.0%
0.1%
0.2%
0.3%
0.4%
0.5%
0.6%
0.7%
0.8%
接触ユーザー 非接触ユーザー
CvR
接触ユーザー
非接触ユーザー
＋0.4
“この⼀一枚があればＯＫ”を具体的に記述する

18. 分析企画書
ビジネス課題
分析⽬目的
仮説
分析内容
分析⽅方法
データ期間
新規ユーザーの利利⽤用回数を増やし、売上をUPしたい
1回利利⽤用者と2回以上利利⽤用者とのマーケティング刺刺激への
接触度度合いを確認する
会員数は既に市場でトップであり、2回以上利利⽤用経験がある
リーピーターは、その後も継続する傾向にある。しかし、
1回利利⽤用して休眠してしまうユーザーも相当数おり、いかに
1回から2回への壁を打ち破れるかが、売上をUPする肝だ。
①1回利利⽤用者と2回以上利利⽤用者との広告流流⼊入経路路の相違を
確認する
②1回利利⽤用者と2回以上利利⽤用者とのポイント施策への
参加度度合いを確認する
基礎集計、クロス集計
2011年年5⽉月〜～2012年年3⽉月
分析⺟母集団 対象期間○⽉月×⽇日のうち、1回以上利利⽤用があるユーザー
分析データ アクセスログデータ、キャンペーンDB

19. 分析詳細設計シート
分析⽬目的 分析内容 分析⽅方法 分析⺟母集団 利利⽤用変数 備考No
1回利利⽤用者と2回以
上利利⽤用者との広告
流流⼊入経路路の相違を
確認する
リスティングからの
流流⼊入数を確認する
基礎集計 全体 account
対象となる広告粒粒度度は、
アカウント単位01
バナーからの
流流⼊入数を確認する
基礎集計 全体 account
対象となる広告粒粒度度は、
アカウント単位02
アライアンスからの
流流⼊入数を確認する
基礎集計 全体 account
対象となる広告粒粒度度は、
アカウント単位03
アフィリエイトからの
流流⼊入数を確認する
基礎集計 全体 account
対象となる広告粒粒度度は、
アカウント単位04
ポンパレ販売による
利利⽤用率率率を確認する
基礎集計 全体 campaign_̲code ⽋欠損を除去05
じゃらん先⾏行行による
利利⽤用率率率を確認する
基礎集計 全体 campaign_̲code ⽋欠損を除去06
期間限定施策による
利利⽤用率率率を確認する
基礎集計 全体 campaign_̲code ⽋欠損を除去07
・・・ ・・・ ・・・ ・・・ ・・・08
・・・ ・・・ ・・・ ・・・ ・・・ ・・・09
1回利利⽤用者と2回以
上利利⽤用者とのポイ
ント施策への参加
度度合いを確認する

20. ケーススタディ

21. 課題１：新しく実施したクロスセル施策って効果あるの？
【背景】
あるファッション購⼊入サイトにおいて、⾐衣服の購⼊入数が伸び悩んで
いました。そこで、売り伸ばし施策として、2012年年9⽉月から2013年年6⽉月
まで、商品ごとの相関ルールに基づいてこの⾐衣服を購⼊入した⼈人には、
別の⾐衣服をWEB上で勧めるというクロスセル施策を実施していました。
しかしながら、購⼊入数はなかなか伸びなかったので、2013年年7⽉月より、
別のクロスセル施策として、その⼈人の過去の購⼊入履履歴を基にした新しい
推薦ロジックを構築し、実施しました。
【ビジネス課題】
新しいクロスセル施策のほうが効果があれば、他の商品にも適⽤用
したいと思うので、効果を教えてください。

22. 課題２：売り上げ減少の要因は？
【背景】
あるファッション購⼊入サイトにおいて、売り上げが伸び悩んで
いました。そこで、伸び悩みが⾃自社固有の現象なのか、マーケット全体
で起こっていることなのかを調べてこいと⾔言われてしまいました。
【ビジネス課題】
売り上げの伸び悩みの原因を⾒見見つけてきてください。

23. 課題３:広告コストはどれくらいかけるのが適切切か？
【背景】
あるファッション購⼊入サイトにおいて、⾐衣服の購⼊入数が伸び悩んで
いました。そこで、流流⼊入施策を⾒見見直してほしいと⾔言われました。
流流⼊入経路路として、リスティング広告とバナー広告経由の流流⼊入があるので、
各々の広告の効率率率性を報告してください。
【ビジネス課題】
各々の広告コストの効率率率性を確かめてください。

24. データ概要 1/4
アクセス
ログ
date cloths_pv shoes_pv jew elry_pv cloths_cv shoes_cv jew elry_cv
2010/04 231,196 48,050 179,829 1,240 55 25
2010/05 311,614 37,412 45,498 1,715 214 22
2010/06 187,233 63,009 100,595 1,570 188 31
2010/07 200,957 49,985 236,621 1,245 59 26
2010/08 279,369 75,289 184,739 1,310 120 36
2010/09 236,941 51,131 97,958 1,285 74 35
2010/10 267,536 64,582 294,407 1,330 99 27
2010/11 293,099 67,856 178,390 1,310 88 32
2010/12 288,342 36,971 43,372 1,282 75 32
c_listing_cv c_banner_cv c_other_cv
45 16 1,177
66 29 1,619
56 20 1,493
42 24 1,177
50 21 1,238
46 23 1,215
55 21 1,253
47 20 1,242
30 25 1,226

25. データ概要 2/4
コスト
データ
date listing_cost banner_cost other_cost
2010/04 195 22 746
2010/05 168 39 536
2010/06 175 25 70
2010/07 182 27 762
2010/08 208 30 883
2010/09 149 27 611
2010/10 162 30 709
2010/11 151 28 742
2010/12 160 27 730
2011/01 163 28 51
2011/02 176 20 702
2011/03 174 19 871
2011/04 154 29 294
2011/05 174 29 552
2011/06 170 30 260
2011/07 165 21 965
2011/08 149 26 446
2011/09 148 25 915
2011/10 156 28 22
2011/11 190 24 482
2011/12 161 28 879
2012/01 158 27 347
2012/02 161 27 321
2012/03 128 22 95
2012/04 156 15 661
date sales index
2010/04 4,548,000 10
2010/05 6,993,000 14
2010/06 6,462,000 8
2010/07 4,599,000 11
2010/08 5,272,000 17
2010/09 4,907,000 11
2010/10 5,120,000 9
2010/11 5,040,000 7
2010/12 4,876,400 16
2011/01 5,109,200 13
2011/02 5,342,000 13
2011/03 5,843,000 9
2011/04 5,050,000 9
2011/05 6,820,000 13
2011/06 6,636,000 10
2011/07 5,041,000 10
2011/08 5,304,000 16
2011/09 5,229,000 13
2011/10 5,728,000 16
2011/11 5,499,000 13
2011/12 5,254,400 8
2012/01 5,150,200 14
2012/02 4,810,000 6
2012/03 4,558,200 8
2012/04 4,078,000 12
売上
データ
マーケット
インデックス

26. データ概要 3/4
変数名 詳細
date 日付
cloths_pv 衣服のページビュー数
shoes_pv 靴のページビュー数
jew elry_pv 宝飾品のページビュー数
cloths_cv 衣服の購入数
shoes_cv 靴の購入数
jew elry_cv 宝飾品の購入数
c_listing_cv リスティング広告経由の衣服の購入数
c_banner_cv バナー広告経由の衣服の購入数
c_other_cv その他広告経由の衣服の購入数

27. データ概要 4/4
変数名 詳細
listing_cost リスティング広告投下コスト
banner_cost バナー広告投下コスト
other_cost その他広告投下コスト
listing_C PA c_listing_cv/listing_cost
banner_C PA c_banner_cv/banner_cost
other_C PA c_other_cv/other_cost
sales 総売り上げ
index 業界トレンド指数

28. ヒストグラム 1/5
cloths_pv
shoes_pv
jewelry_pv

29. ヒストグラム 2/5
cloths_cv
shoes_cv
jewelry_cv

30. ヒストグラム 3/5
c_lis:ng_cv
c_banner_cv
c_other_cv

31. ヒストグラム 4/5
lis:ng_cost
banner_cost
other_cost

32. ヒストグラム 5/5
sales
index

33. （参考）エクセルの関数⼀一覧
【代表値】
平均
＝MEAN( )
中央値
＝MEDIAN( )
最頻値
＝MODE( )
【散布度度】
分散
＝VAR( )
標準偏差
＝ STDEV( )
【関連性】
相関係数
＝CORREL( , )

34. 課題１：新しく実施したクロスセル施策って効果あるの？
【背景】
あるファッション購⼊入サイトにおいて、⾐衣服の購⼊入数が伸び悩んで
いました。そこで、売り伸ばし施策として、2012年年9⽉月から2013年年6⽉月
まで、商品ごとの相関ルールに基づいてこの⾐衣服を購⼊入した⼈人には、
別の⾐衣服をWEB上で勧めるというクロスセル施策を実施していました。
しかしながら、購⼊入数はなかなか伸びなかったので、2013年年7⽉月より、
別のクロスセル施策として、その⼈人の過去の購⼊入履履歴を基にした新しい
推薦ロジックを構築し、実施しました。
【ビジネス課題】
新しいクロスセル施策のほうが効果があれば、他の商品にも適⽤用
したいと思うので、効果を教えてください。

35. ビジネス課題
分析⽬目的
仮説
分析内容
分析⽅方法
データ期間
新しいクロスセル施策の効果を導出したい
旧来の施策と新規施策との効果の違いを確認する
新しい施策は、より個々⼈人の好みに特化した施策
であるので、相関ルールを基にした旧来の施策
よりも効果があるのではないかと⾒見見⽴立立てている。
①施策の効果をCVRとして定義し、旧来の施策の
実施期間におけるCVRと新規施策の実施期間に
おけるCVRを⽐比較する。
ヒストグラム、基本統計量量、CVR
2012年年9⽉月ー2013年年9⽉月
分析⺟母集団 クロスセル実施期間の全データ
分析データ アクセスログ
分析企画書

36. 2010年4月～2013年9月
2012年9月～2013年9月
⺟母集団定義
2013年7月～2013年9月

37. 分析詳細設計シート
分析⽬目的 分析内容 分析⽅方法 分析⺟母集団 利利⽤用変数 備考No
旧来の施策
と新規施策
との効果の
違いを確認
する
pv数を確認 基礎統計
2012年年9⽉月〜～
2013年年9⽉月
cloths_̲pv
01 cv数を確認 基礎統計
2012年年9⽉月〜～
2013年年9⽉月
cloths_̲cv
CVRを確認 基礎統計
2012年年9⽉月〜～
2013年年9⽉月
cloths_̲pv
cloths_̲cv

38. アウトプットイメージ
0
5
10
15
20
25
0
5
10
15
20
25
<cloths_̲pv> <cloths_̲cv>
・平均：○○
・標準偏差：○○
・中央値：○○
・標準偏差：○○
・平均：○○
・標準偏差：○○
・中央値：○○
・標準偏差：○○
0
0.01
0.02
0.03
0.04
0.05
0.06
0.07
0.08
0.09
旧施策 新規施策

39. 課題２：売り上げ減少の要因は？
【背景】
あるファッション購⼊入サイトにおいて、売り上げが伸び悩んで
いました。そこで、伸び悩みが⾃自社固有の現象なのか、マーケット全体
で起こっていることなのかを調べてこいと⾔言われてしまいました。
【ビジネス課題】
売り上げの伸び悩みの原因を⾒見見つけてきてください。

40. ビジネス課題
分析⽬目的
仮説
分析内容
分析⽅方法
データ期間
売り上げの伸び悩みの原因を特定せよ！！
売り上げとマーケットの状況の関連性を確認する
売り上げの伸び悩みの原因は、⾃自社に起因して
いるのではなく、マーケット全体が縮⼩小している
からだと考えている。
①市況を表す2次データと⾃自社の売り上げとの
関連性の強さを導出する。
相関分析（散布図、および相関係数）
2010年年4⽉月〜～2013年年9⽉月
分析⺟母集団 全データ
分析データ 売上データ、マーケット・インデックス
分析企画書

41. 2010年4月～2013年9月
⺟母集団定義

42. 分析詳細設計シート
分析⽬目的 分析内容 分析⽅方法 分析⺟母集団 利利⽤用変数 備考No
売り上げと
マーケット
の状況の
関連性を
確認する
売り上げを
確認
基礎統計
2010年年4⽉月〜～
2013年年9⽉月
sales
01
インデックス
を確認
基礎統計
2010年年4⽉月〜～
2013年年9⽉月
index
相関を確認
相関係数
散布図
2010年年4⽉月〜～
2013年年9⽉月
sales
index

43. アウトプットイメージ
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
0 10000 20000 30000 40000 50000 60000
SEO
× Bookmark
相関係数：0.89

44. メタ思考の発想
本当に売り上げは伸び悩んでいるのか？
何と⽐比較して、どれくらい？

45. 課題３:広告コストはどれくらいかけるのが適切切か？
【背景】
あるファッション購⼊入サイトにおいて、⾐衣服の購⼊入数が伸び悩んで
いました。そこで、流流⼊入施策を⾒見見直してほしいと⾔言われました。
流流⼊入経路路として、リスティング広告とバナー広告経由の流流⼊入があるので、
各々の広告の効率率率性を報告してください。
【ビジネス課題】
各々の広告施策の効率率率性を確かめてください。

46. ビジネス課題
分析⽬目的
仮説
分析内容
分析⽅方法
データ期間
⾐衣服購⼊入数の伸び悩みの原因を特定せよ！！
各々の広告施策の効率率率性を確かめる
⾐衣服購⼊入数の伸び悩みの要因が⾃自社の流流⼊入施策
にあり、リスティング広告とバナー広告において、
⼀一⽅方が効率率率性が悪いのではないかと考えている。
各々の広告施策の効率率率性を、
①CPAで確認する。
②散布図で確認する。
CPA、散布図
2010年年4⽉月〜～2013年年9⽉月
分析⺟母集団 全データ
分析データ アクセスログ、コストデータ
分析企画書

47. 2010年4月～2013年9月
⺟母集団定義
N=42
N=41
N=40
banner_̲costに異異常値が
あるデータを除外
listing_̲costに⽋欠損値が
あるデータを除外

48. データの異異常値や⽋欠損値
date c_listing_cv c_banner_cv c_other_cv listing_cost banner_cost other_cost
2011/08 44 24 1,301 149 260 446
2011/09 46 22 1,275 148 0 915
2011/10 52 18 1,318 156 280 22
2011/11 48 21 1,299 190 240 482
2011/12 55 25 1,261 161 280 879
2012/01 53 19 1,253 158 270 347
2012/02 39 16 1,043 161 270 321
2012/03 20 20 960 128 220 95
2012/04 34 13 941 156 150 661
2012/05 41 13 914 173 210 567
2012/06 34 20 895 137 240 874
2012/07 42 21 905 157 270 225
2012/08 39 12 942 152 220 781
2012/09 15 14 970 125 240 595
2012/10 0 16 1,083 110 220 394
2012/11 34 20 924 145 300 168
2012/12 41 19 1,061 180 250 400
2013/01 22 21 1,199 134 270 277
2013/02 42 21 945 145 260 979
2013/03 38 14 944 186 200 711
2013/04 38 13 1,048 171 150 206
2013/05 9 18 750 158 210 321
2013/06 32 20 837 149 270 159
2013/07 47 17 1,160 162 250 713
2013/08 50 23 1,216 190 260 771
2013/09 6 16 1,142 170 902
コストが0なのにｃｖが
発生している
コストがアップデートされ
ていない

49. 分析詳細設計シート
分析⽬目的 分析内容 分析⽅方法 分析⺟母集団 利利⽤用変数 備考No
各々の広告
施策の効率率率
性を確かめる
コストを確認 基礎統計
2012年年9⽉月〜～
2013年年9⽉月
listing_̲cost
banner_̲cost
01
施策経由の
cv数を確認
基礎統計
2012年年9⽉月〜～
2013年年9⽉月
c_̲listing_̲cv
c_̲banner_̲cv
CPAを算出
基礎統計
時系列列マップ
2012年年9⽉月〜～
2013年年9⽉月
上記変数
グラフで
関係性を確認
散布図
2012年年9⽉月〜～
2013年年9⽉月
上記変数

50. アウトプットイメージ
<CPAの時系列列推移>
0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
8.0
9.0
2010/04
2010/06
2010/08
2010/10
2010/12
2011/02
2011/04
2011/06
2011/08
2011/10
2011/12
2012/02
2012/04
2012/06
2012/08
2012/10
2012/12
2013/02
2013/04
2013/06
2013/08
listing_CPA banner_CPA
<CostとActionとの関係性>
0
10
20
30
40
50
60
70
100 150 200 250 300 350 400 450
0
10
20
30
40
50
60
70
100 120 140 160 180 200 220

51. （参考）CPAと広告の効率率率性
Cost
Cv
CPA=500とは・・・
10
5,000
10,000
15,000
20
30
Cost
Cv
10
5,000
10,000
15,000
2
30
実際は・・・
CPAは、コストをいくらかけても
変化しない
CPAは、コストをいくらかけたのか
によって変化する
広告予算をかければかけるほどCVが高くなるという線形の関係性（左図）
ではなく、広告予算をかけてもCVが必ずしもそれに比例してCVが高くならな
い非線形の関係（右図）を考える必要がある。

52. （参考）よくやりがちな疑似相関の例例
＜直交という概念念＞
原則として、変数同⼠士は独⽴立立でなければならない！！
【CostとActionの相関図】
0
2
4
6
8
10
12
0
2
4
6
8
10
12
Cost
Action
0
2
4
6
8
10
12
0
2
4
6
8
10
12
Cost
CPA(Cost/Action)
【CostとCPAの相関図】

53. おわりに

54. ①現状把握 ②未来予測 ③シミュレート ④最適化
Ｘ
Ｙ
time
CV
time
CV
alliance
12,000
banner
6,000listing
12,000
SEO
12,000
affiliate
6,000
tttttt Xry βμ tttttt Xry βμ
500100
1000200
:_
)(:
Banner
Listing
toSubject
GainMaxObjective
今回の授業の位置づけ
分析業務の9割⽅方を占めるのがこのフェーズ。
現状把握をおろそかにして、次のフェーズには進め
ません。

55. 最後に2つだけ。。。
１にも2にも仮説です。
情報は常に不不完全な形で
しか存在しません。

56. ご清聴、ありがとうございました。