A/Bテストの今！

1. あなたはグーグルの
モルモットです
大手ウェブサイトのユーザー実験
ハーヴィー・ジェームス

2. ソフトにどんな機能を付けるか？
 ユーザーに聞く？
聞いてもわからない
聞いても違うことを言われる
十人十色でわからなくなる
 勘や自分の経験で決める？
失敗することが多い
 上司に聞く？
上司も勘で決めるでしょう
・・・結局上司の勘で決めることになるのが多い

3. 90年代:パッケージソフト
ユーザー実験
画像：英文（５）

4. 従来型ユーザー実験の弱点
 実験するのが大変
 人手がいる
 費用がかかる
 時間がかかる
 データが多いほど信頼できるが・・・
データが多いほど費用がよりかかる

5. 2000年代:インターネット
パッケージソフトからウェブサービス
 ウェブサイトやウェブサービスはソフト会社が運用
するようになった
 SaaSなどで、ユーザーより制作会社がコントロール
 アップデートの際、ウェブサイト側がサーバー上で
変更する方がやりやすい
 ユーザーが実際にどのようにソフトをつかっている
のか、ログでわかる
 何百万人ものユーザーが無料ウェブサイトを活用

6. 2005年以降：ウェブA/B テスト
 ユーザーたちに対照実験（コントロール実験）を行
う
 判断するメトリクスを決めて
 ユーザーみんながモルモットに
 ユーザー50%に変更のないページを見せる（コント
ロールグループA）
 ユーザー50%に変更のあるページを見せる（ポジ
ティブコントロールグループB）
 データログに、AかBを記録する
 実験が終わったら分析を
画像：英文（３）

7. マイクロソフトからの一例
画像：英文（３）

8. 2008年:ヤフーサーチ同時に50実験
 ヤフーサーチは会社の利益の50%でした
 科学者70人、エンジニア300人
 49ポジティブコントロールグループ＠2%=98%
 1コントロールグループだけ＠2%
ヤフーサーチユーザー
は
98%モルモット
グーグルやマイクロソフト
は同じでしょう。参考：英
文3,4

9. A/Bテストユーザー実験の長所
 実験するのがやりやすい
 今のシステムにA/Bテスト機能をつける
 日常ユーザーをモルモットに
 ウェブサイトユーザーが多いほどデータを多く集め
られる
 データが多いほど信頼できる

10. A/Bテストユーザー実験の弱点
 分析するのがややこしい
 判断するメトリクスを決めるのが案外とむずかしい
 人はデータより勘を信じたい
 実験の1/3しか成功しない （参考：英文３）
勘よりデータ

11. 参考資料（日本語）
1. ウェブご担当者さま、あなたの会社は大丈夫？：A／Bテスト – Wired
Japan （２０１２）
2. A/Bテストとは何ですか？ - Mizeni

12. 参考資料（英文）
1. Improving Ad Relevance in Sponsored Search – Yahoo! Labs
2. Personalized Click Prediction in Sponsored Search – Yahoo! Labs
3. Exp - Experimentation Platform – Talks – Microsoft Research
4. Overlapping Experiment Infrastructure: More, Better, Faster
Experimentation – Google Research
5. User-Centered Design and Usability Engineering - Supporting Material for
Lectures – Ryerson University