営業向け ABテストの統計学 データアーティスト

24,660 views

Published on

『ABテストの結果にどれほど統計的な信頼性があるか?』を簡単に計算するExcelツールのご紹介

↓Excelのダウンロードはこちらから
https://drive.google.com/file/d/0B3tXL03tgwNmSWlvRmZ1SGlRUm8/edit?usp=sharing

会社サイト:
http://www.data-artist.com/

Published in: Marketing

営業向け ABテストの統計学 データアーティスト

  1. 1. データアーティスト株式会社 営業向け LPO統計講義 第一回 ABテスト
  2. 2. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page2Page2Page2Page2 A/Bテスト テストの設計、結果の理解が容易
  3. 3. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page3Page3Page3Page3 アジェンダ 1 •CVRの真値の推定 2 •二つのクリエイティブの比較 3 •日毎のばらつきの計算 4 •期間の計算
  4. 4. 1 CVRの真値の測定
  5. 5. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page5Page5Page5Page5 お客さまからの質問 1000UUでCVRを測定したら 3%だったんですが どれくらい信じれますか??
  6. 6. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page6Page6Page6Page6 答え CVRの本当の値は 80%の確率で2.3~3.7% 90%の確率で2.1~3.9% 95%の確率で1.9~4.1%の間に入っています。
  7. 7. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page7Page7Page7Page7 CVRの真値を実測値から区間推定する CVRの真値:UUを無限に増やしたときのCVR UUを増やすほどCVRの測定値と真値は近づいていく。 UU CVRCVR )1(  
  8. 8. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page8Page8Page8Page8 Excelのツールを使って計算しましょう! DA_ABテスト統計ツール.xlsx https://drive.google.com/file/d/0B3tXL03tgwNmSWlvRmZ1SGlRUm8/edit?usp=sharing URLを開いて、ここからダウンロードしてください
  9. 9. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page9Page9Page9Page9 Excelのツールを用いる CVRの真値の分布を 求めています。 約99.9が入る範囲 までが描画されて います。
  10. 10. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page10Page10Page10Page10 Excelのツールを用いる 測定値±0.9%に 真値が有る確率は 90%です。
  11. 11. 2 二つのクリエイティブの比較
  12. 12. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page12Page12Page12Page12 お客さまからの質問 二つのクリエイティブ1,2の CVRを1000UUで測定したら 5%と3%だったんですが 1は2に勝ってると言えますか?
  13. 13. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page13Page13Page13Page13 答え 99%の確率で1が2に勝っているといえます。 また88%の確率で1は2より1%以上勝っているといえます。
  14. 14. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page14Page14Page14Page14 ツールを用いる CVR1に勝っている数 値を入れてください。
  15. 15. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page15Page15Page15Page15 ツールを用いる 99%で1が2に 勝っているといえます。 88%で1が2に 1%以上勝っている といえます。
  16. 16. 3 日毎のばらつきの計算
  17. 17. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page17Page17Page17Page17 お客さまからの質問 CVR3.0%だったページを 1000UUで測定し直したら CVRが2.8%にさがってます!! どういうことですか!!?
  18. 18. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page18Page18Page18Page18 答え CVRの真値が3.0%だったとしても 測定されるCVRはばらつきを持っています。 3.0%で1000UUの場合、CVRが2.8%より 大きくずれる可能性は70%以上ありますので 今回の差は充分起こりうることです。
  19. 19. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page19Page19Page19Page19 真値と実測値の関係 1000UU用いた測定でCVRの実測値が3.0%の時 真値が存在する範囲 CVRの真値が3.0%の時 1000UUで実測させるCVRの範囲 ≒
  20. 20. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page20Page20Page20Page20 ツールを用いる 3±0.2%に収まる 確率は30%しかないため、 それよりばらつくことは 十分にあり得る。
  21. 21. 4 期間の計算
  22. 22. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page22Page22Page22Page22 お客さまからの質問 一日のUUが10000、 20クリエイティブをテストします。 今のCVRが5.0%で、 今度の施策で6.0%位には 上がると思うんですが、 何日テストをすれば良いですか?
  23. 23. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page23Page23Page23Page23 答え 信頼度を90%にした場合、 有意にチャンピオンが勝っていることを 検証するのに4日、 チャンプが0.5%以上 勝っていることを検証するのに14日かかります。
  24. 24. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page24Page24Page24Page24 ツールを用いる
  25. 25. Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page25Page25Page25Page25 まとめ 1 •CVRの真値の推定 •真値が存在する範囲を求められるようになった。 2 •二つのクリエイティブの比較 •有意なCVRの差を求められるようになった。 3 •日毎のばらつきの計算 •CVRのばらつきが確率的なものか他の要因かの判断が出来るようになった。 4 •期間の計算 •条件にあったテストを行うのに必要なテスト期間を求められるようになった。

×