謝宗震/隨機對照實驗在公共領域的應用

1,318 views

Published on

謝宗震 ,DSP 智庫驅動資料科學家,清華統計博士,對於統計方法與工具的推廣具有極大的熱忱,期望利用統計思維及分析工具幫助各個領域解決問題。輔導超過 300 位政府、企業、非營利組織人士成為資料分析人才。 Data for Social Good (D4SG) 計畫共同發起人,打造一個「資料力,做公益」的交流與媒合平台。

Published in: Data & Analytics

謝宗震/隨機對照實驗在公共領域的應用

  1. 1. 隨機對照實驗 在公共領域的應用 謝宗震 (johnson@dsp.im) DSP 智庫驅動 首席資料科學家 2016/07/15 @ 資料科學愛好者年會
  2. 2. 2 • 清華統計博士(數學系、統計所) • 2007年開始寫R • DSP 智庫驅動資料科學家 • D4SG 資料英雄計畫主持人 • 「資料力,做公益」的交流與媒合平台 • 農業政策、家庭暴力、社會安全、NPO營運優化 謝宗震 博士 johnson@dsp.im
  3. 3. DSP 智庫驅動 資料科學 人才培育 顧問諮詢 改造社會 企業、政府團訓班 資料營隊 Data Challenge 資料力,做公益 D4SG 「資料思考」 DMS + R solution 3
  4. 4. 4 為什麼要談公共領域的應用
  5. 5. 5 因為我有一顆為社會服務的心 不是因為商業案例通通不能講
  6. 6. 6 受測對象 隨機分派 實驗組/對照組 結果比較前測 http://goo.gl/a604qo (非必要) 用一頁介紹 隨機對照實驗 Randomized Controlled Trial, RCT
  7. 7. 7 三個公共領域案例 四個實驗挑戰面向
  8. 8. 8 如何消滅貧窮? https://goo.gl/MVHfb9
  9. 9. 9 如何消滅貧窮? https://goo.gl/MVHfb9 接種疫苗提升孩童免疫力
  10. 10. 10 接種疫苗提升孩童免疫力 受測對象:134個村落共1640位1-3歲孩童。隨機分派如下: http://goo.gl/980UiV 379 位孩童來自 30 個村落 382 位孩童來自 30 個村落 860 位孩童來自 74 個村落 Banerjee et al. BMJ, 2010
  11. 11. 11 接種疫苗提升孩童免疫力 實驗組 / 對照組 http://goo.gl/980UiV 有疫苗注射站 有疫苗注射站 + 微薄獎勵 對照組
  12. 12. 12 接種疫苗提升孩童免疫力 前測 / 結果比較 (為期18個月) http://goo.gl/980UiV 有疫苗注射站 有疫苗注射站 + 微薄獎勵 對照組 95% C.I. [3%, 9%] [11%, 23%] [30%, 47%] 1-3歲孩童 疫苗接種率
  13. 13. 13 接種疫苗提升孩童免疫力 統計顯著 vs. 商業顯著 http://goo.gl/980UiV 獎勵在每天11:00-14:00發放,故減少該注射站護理人員的人事成本 Camp w. incentives $27 Camp $56 平均每位孩童接種疫苗的成本比較
  14. 14. 如何幫助法院討債?
  15. 15. 15 寫一封有效果的討債簡訊 如何幫助法院討債?
  16. 16. 16 寫一封有效果的討債簡訊 受測對象:2012年1-2月 1,817位曾收到警告函的債務人。 隨機分派至以下5種設定: Haynes et al. J. PAM, 2013 實驗設定 簡訊內容 None Standard Amount Personal Personal + Amount [Name], you have not paid your fine of £[Amount]. Pay immediately or a warrant will be issued to the bailiffs. Call 03007909901 quote ref [number] div [number]
  17. 17. 17 寫一封有效果的討債簡訊 結果比較 https://goo.gl/yMe9jO
  18. 18. 18 寫一封有效果的討債簡訊 成效評估 實驗設定 樣本數 簡訊轉換率 還款率 平均還款金額 None 366 - 5.2% £4.46 Standard 361 56.0% 23.2% £8.62 Amount 364 52.5% 25.2% £10.53 Personal 362 55.5% 33.0% £12.87 Personal + Amount 364 57.4% 29.0% £11.74 從 None 改用 Personal 方案,每年可以增加 £860,000 的收入 後來又做了一筆樣本數為 3,633 的實驗,其結果一致
  19. 19. 如何提升慈善捐款? http://goo.gl/R1yY7t
  20. 20. 如何提升慈善捐款? http://goo.gl/R1yY7t 用一句標語打動人心 只要捐款一次,以後不再打擾!
  21. 21. 21 用一句標語打動人心 受測對象:2008年4月至2009年9月,共 830,364戶家庭。隨機分派如下: Kamdar et al. SPI, 2015 控制組 (標準版勸募函):415,138份 實驗組 (唯一版勸募函):415,226份致力於幫助唇顎裂兒童的國際 慈善機構。成立於1999年, 至今提供87國兒童免費治療。
  22. 22. 22 用一句標語打動人心 成效評估 實驗設定 Control Once and Done 樣本數 415,138 415,226 捐款者 1,413 2,722 首次捐款金額 $71,566 $152,928 % do not mail 19% 38% 再次捐款者 618 768 總捐款金額 $178,609 $260,783 扣除do not mail的家庭後, Control 方案有 50%願再次捐款,Once and Done 也有45% 從 Once and Done 方案總募款收入高於原始方案 46%
  23. 23. 23 四個挑戰面向 設計面 工程面 管理面分析面
  24. 24. 24 開始之前,如何規劃一個實驗
  25. 25. 25 從 定義目標 開始 top-down 把真實問題限縮到可以被量化驗證的程度 • Business goals • 希望 [捐款金額倍增] • Marketing goals • 優化 [勸募函的轉換率] 使得 [捐款金額提升 x%] • Conversion goals • 利用 [Once and Done 方案] 提升 [轉換率 y%] • Transform goals to KPIs • 今年度有 [xxx 捐款戶] [總捐款金額 yyy] top-down 好的KPI • 容易被驗證 • 能夠解決原始問題 • 能夠獲得洞見 設計面
  26. 26. 26 或是從 發現問題 開始 把真實問題限縮到可以被量化驗證的程度 • 以線上捐款為例: • 觀察捐款頁面的放棄率 (abandonment rate) • 發現問題 • 主頁的「捐款支持」點擊數很高,但在捐款頁面的放棄率也高 • 找出原因 • 捐款頁面要填的欄位很多,解釋文字又複雜 • 提出建議 • 提出幾個改版方案以降低捐款頁面的放棄率 bottom-up 設計面
  27. 27. 27 前測 驗證隨機分派機制是否合理 A/A 測試 A/B 測試 工程面
  28. 28. 28 如何開始實驗
  29. 29. 29 測試目標 太多怎麼辦 PIE Framework • 列出潛在測試目標 (Potential) • 以轉換率高低對各個頁面做排序 • homepage > product page > category page 1, cart page … • 考量測試目標的重要性 (Importance) • 以80/20法則選擇首要測試目標 • category page 1的流量是否大到需要優先做優化 • 考量測試目標的效率 (Ease) • 技術考量 • 組織考量 • 政策考量 管理面
  30. 30. 30 PIE framework table http://goo.gl/EaazmH 管理面
  31. 31. 31 測試方案 太多怎麼辦 考量效率 開發時間 預期效果 (轉換率) 顯著樣本數 測試時間 總時程 完全重新設計 30天 10% → 15% 599 3天 33天 只改變色調 2天 10% → 11% 14,313 72天 74天 如何決定要做哪種測試執? • 欲要進行提升訪客註冊率的測試, 手上有兩種方案,你會怎麼選? 管理面
  32. 32. 32 測試方案 太多怎麼辦 考量效率 如何決定要做哪種測試執? • 欲要進行提升訪客註冊率的測試, 手上有兩種方案,你會怎麼選? 開發時間 預期效果 (轉換率) 顯著樣本數 測試時間 總時程 完全重新設計 30天 10% → 15% 599 3天 33天 只改變色調 2天 10% → 11% 14,313 72天 74天 需要一點統計學素養 顯著樣本數計算工具:http://goo.gl/kywZdu 管理面 在測試過程中已經有統計顯著 差異,能不能提早停止實驗?
  33. 33. 33 多重測試 • 同時測試多種方案 (A/B/N Testing, Multivariate Testing) • 測試按鈕顏色 (綠、藍) • 測試按鈕顏色(綠, 藍) x 按鈕文字 (註冊, 加入) • 按鈕顏色 (2) x 按鈕文字 (2) x 文案說明 (2) x 主視覺 (2) • 對重要的方案進行測試 • 測試之間的獨立性 分析面 局部最佳 全部最佳
  34. 34. 34 最後,實驗設計的真實面
  35. 35. 35 實驗設計的真實面 • 實驗的前提假設就是做不到 • 無法隨機抽樣 • 無法獨立實驗 (同時間不同部門也在做) • 在一個公司或組織裡 • 誰提案?誰買單?誰實驗? • 誰根據實驗結果設計行動? • 誰負責執行結果? • 分析結果出爐 • 不論是新方案根本沒效果,或是舊方案大錯特錯 • 若是究責政,辦公室政治問題如何處理? 真實面 公司或組織導入實驗設計必須面對的問題
  36. 36. 36 thank you johnson@dsp.im

×