Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Ab Testing

1,072 views

Published on

Ab Testing

Published in: Data & Analytics
  • Login to see the comments

Ab Testing

  1. 1. A/B Testing 又稱分割測試 測試特定的單一元素(UI、網站)的兩個或多個版本 被使用後的結果 並採用較好的版本上線以達到優化效果 什麼是 A/B Testing ? 優化目的 提高 停留時間、註冊率、轉化率、造訪數、回訪率、頁面流量 CTA ( Call to action ) 等等.. 降低 跳出率
  2. 2. A/B Testing 測試元素 位置、用字、尺寸、顏色按鈕 長度、類型、用字表單 位置、內容、尺寸圖片 標題、價值傳達、描述文案 頁面長短、位置版面 不同商品搭配、價位方案 註冊、使用導引流程
  3. 3. A/B Testing 條件 優缺點 每天穩定的流量 (測試週期 至少千人) 只有結果 無法得知原因 測試並非完全的理性 測試時間較長 且大多不會馬上有結果 局部的優化 比大更動容易 找到好的優化 提升的幅度非常高
  4. 4. 什麼時候可以開始? 最小可行性產品 可開始取得用戶回饋做優化 Landpage Home page
  5. 5. 如何運行 A/B Testing 架構流程 測試循環流程 操作 用戶分組 用戶分流 測試時間 對照差異 統計檢定力 最小可測結果 注意事項 數據
  6. 6. A / B Testing 流程 2.定義目標 1.收集數據 3.討論設想 4.新更動 5.啟動測試 6.分析結果 7.版本上線 改變UI 、標題、價值傳達、 圖片、表單、價格方案 由報表得知使用數據與各項指標 發現想要改善的目標 *重要頁面優先 1.著陸頁 2.進入量最高 使用工具(Flurry 、GA) 觀察使用者的行為 針對目標或使用者流程的瓶頸 提出能改變的設想方案 取出最好的採用 將新的版本上線 與目前對照版本進行測試 使用工具(Flurry 、GA)紀錄 並觀察不同版本之間的成效 (停留時間、轉化率、造訪數、 CTA ) 將成效較好的版本上線 並持續進行優化
  7. 7. 對照組 實驗組 架構面 – 用戶分組 兩組流量盡量相同 越接近越好
  8. 8. 架構面 – 用戶分流 WEB 1.訪客 : 根據 cookie id 2. 用戶 : 根據 cookie + 帳號 1.隨機 Cookie id 分組 Mobile 1.訪客 : 根據 IMEI 2. 用戶 : IMEI + User ID
  9. 9. 架構面 – 測試時間 以 週 / 月 為一輪測試週期 最少1週 最常見 2- 4 週 Source : http://conversionxl.com
  10. 10. 數據面 – 對照差異性 信心水準 (P) 0.95 / 0.99 顯著性差異 (α) 0.05 / 0.01 信賴區間 (CI) ± 百分比 實驗組與對照組測試出來的差異性 (統計顯著性) 落在信賴區間的可能性 測試結果可能出現誤差的範圍 (顯著水平) 落在信賴區間外的可能性 P + α = 1 信心水準越高 顯著性差異越低 越好
  11. 11. 數據面 - 最小可檢測效果 Minimum Detectable Effect (MDE) MDE 樣本數 大 推測目標轉化率所需要的樣本數 小相對 MDE 越小需要測試的時間越長 MDE 只能檢測目標值以上的變化
  12. 12. 例 : MDE 設定較小 明顯 MDE 越小需要的樣本數越大 驗證新更動是具意義的 MDE 2% 1000 20 100000 2000 1000 點擊率 12% 120
  13. 13. 數據面 - 統計檢定力 (Power ) 1. 避免錯誤假設的機率 常用 Power 0.8 (1-β) 1. 確實無顯著差異 2. Power 太低無法偵測到存在的顯著差異 (α) 控制 樣本數 2. 偵測到MDE的機率
  14. 14. 操作面 - 注意事項 一次週期就想搞定 想要驗證 A/A Testing (1~2週) 樣本汙染 多變量測試 現實有效性影響 全週運行測試
  15. 15. 避免使用有特定性的測試時間 工作天 全週運行測試 Source : http://conversionxl.com
  16. 16. 樣本汙染 週期太短、太長 使用者會跨螢 無法完全避免樣本汙染 2. ID 區分 Web: cookie刪除 無痕模式 App: 清除資料 延長測試週期 長度污染 設備污染 瀏覽污染 ID 區分 獨立特殊時段
  17. 17. 常見 : 1. 文案 + 視覺元素 2. 按鈕CTA文字 + 彩色 將兩組以上在同頁面中不同的 細部 元素互相搭配做測試 多變量測試 對照組 實驗元素 用戶分組 : 4 X 3 = 12 Source :https://vwo.com/blog/
  18. 18. 一次測試多個元素 得知細部元素互相搭配的成效 需要大的流量 (依測試元素多寡) 可能需要更長時間達到統計意義 所有變量組合一定要先檢查過 多變量測試 注意事項 優缺點
  19. 19. 對照組 實驗元素 例 : 價值主張 + CTA的測試 主張 : 免費體驗巴黎的生活 寫下你在巴黎的故事 CTA : 你和巴黎有個約會 多變量測試 不良組合例子
  20. 20. 價值主張 優惠方案 商品 服務 獨立具特別性測試 拉霸機測試 現實有效性影響 節 日 假 日 活 動 事 件 特定性 產業別 電商團購 餐飲服務 觀光旅遊 依企業 周年慶 自發活動 颱風假 新聞事件 突發性
  21. 21. 拉霸機測試 (Bandits Selection) 特定時間內把收益拉大 A ( Week ) B C A B C Source : http://conversionxl.com/
  22. 22. A/B Testing 成功例子 CityCliq 價值主張的優化 Source : https://vwo.com/blog/
  23. 23. 多變量測試 成功例子 對照組 實驗元素 Source : https://blog.optimizely.com
  24. 24. 單元素測試結果 組合測試結果
  25. 25. 提升 註冊率 40% 募款金額 $ 60,000,000
  26. 26. A/B Testing 失敗例子 JitBit 價格高低排序的測試 Source : https://www.jitbit.com
  27. 27. A/B Testing Mobile例子 登入頁增加 Google 登入 註冊率提升150% 對照組 實驗組 Source : http://www.itongji.cn/
  28. 28. 對照組 實驗組 Source : http://sitesforprofit.com/mobile-menu-abtest
  29. 29. 資源分享 樣本計算 http://www.evanmiller.org/ab-testing/sample-size.html 週期計算 https://vwo.com/ab-split-test-duration/ https://www.optimizely.com/resources/sample-size-calculator 框架分享 https://github.com/olahol/react-ab https://github.com/indeedeng/proctor-demo https://github.com/jenssegers/laravel-ab https://github.com/maccman/abba 即時更新 https://optimizely.com/ https://rollout.io/
  30. 30. THE END - Wallace Wallace.H.Wu@newegg.com

×