Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Abテストと検定

8,656 views

Published on

2013/6/1に開催されたTokyoRでのLT資料です。

Abテストと検定

  1. 1. ABテストと検定篠原照樹
  2. 2. 篠原照樹• Web系企業で、Hadoop、Hive基盤整備をやっています。• 作ったものとか– Hive Color http://hivecolor.com– JKマーチ http://jkmarch.com– えごったー http://www.egotter.com• 面白い人探してます!2
  3. 3. 本日のテーマ:ABテストと検定• ABテスト– AパターンとBパターンを実際に試して、結果が良い方を選ぶ– メリット:本当に数値が高い方を客観的に選べる• 検定– 起きた結果が偶然なのかを判断する• ABテストだけだと簡単なのに、検定も加わると途端に難しくなる?3
  4. 4. 今日伝えたいこと:検定の考え方は身近に存在する• 人は誰でも、無意識のうちに検定っぽい思考をしている。• 検定 = 難しい、自分には縁遠い、というのは誤解かも。• 身近な、自然に使われている検定(っぽい思考)の例を紹介します。4
  5. 5. ABテスト 実演A) あったらいいな をカタチにするB) 無限の可能性をあなたに• 好きな方のキャッチコピーを選んでください。A)は小林製薬株式会社様、B)はアドビシステムズ様のキャッチコピーです。画像は無料学習サイトShareWis様のサイトから引用させていただきました。5• 実際に試して決める点が重要です• ただの多数決とは違います!• 普通はWebとかでやります
  6. 6. 検定 実演A) あったらいいな をカタチにする– ○票B) 無限の可能性をあなたに– □票• この結果は偶然でしょうか? それとも、本当に優れているのでしょうか?• 答え偶然です。どちらか一方が優れているとは言い切れません。(有意水準5%、合計3票、の場合)6
  7. 7. 簡単な検定はたったこれだけです• 【再掲】検定とは、起きた結果が偶然なのかを判断する手法のこと。• 「偶然起きる」とはどういうことか、さらに実例を紹介します。7
  8. 8. 身近な検定の例A) 3打席1安打の3割バッターB) 300打席100安打の3割バッター• すごいのはどっち?– 後者がすごい– 前者は偶然かもだけど、後者は偶然ではあり得ない• R?の式binom.test(100?, 300?, p = 0.5, alternative =“two.sided”, conf.level = 0.95)• p値? = 8.015e-09 < 0.05、よって有意差あり野球の打席は確率50%の二者択一じゃないけど一例として使いました。 8
  9. 9. ABテストの検定• ABテストの結果、Aが100回、Bが120回クリックされた。• Bの方が良いと言える?• Rの式binom.test(100, 220, p = 0.5, alternative = "two.sided", conf.level =0.95)• p値 = 0.20 > 0.05、よって有意差なし• ワンポイント!1,000と1,200だとp値 = 2.182e-05 < 0.05、よって、有意差があると言えます。偏りがあるほどサンプル数が少なくて済みますが、どれだけサンプル数が多くても有意差が認められないこともあります。9
  10. 10. まとめ• 検定が簡単なことを示すために、身近な?例をいくつか計算しました。•• もっと勉強したい方におすすめの書籍• ABテストと検定についてもうちょい詳しく書いてます。http://hivecolor.com/id/10210
  11. 11. 篠原照樹• Web系企業で、Hadoop、Hive基盤整備をやっています• 作ったものとか– Hive Color http://hivecolor.com– JKマーチ http://jkmarch.com– えごったー http://www.egotter.com• 面白い人探してます!11

×