謝宗震/隨機對照實驗在公共領域的應用
•
15 likes•2,794 views
謝宗震 ，DSP 智庫驅動資料科學家，清華統計博士，對於統計方法與工具的推廣具有極大的熱忱，期望利用統計思維及分析工具幫助各個領域解決問題。輔導超過 300 位政府、企業、非營利組織人士成為資料分析人才。 Data for Social Good (D4SG) 計畫共同發起人，打造一個「資料力，做公益」的交流與媒合平台。
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to 謝宗震/隨機對照實驗在公共領域的應用
Similar to 謝宗震/隨機對照實驗在公共領域的應用 (20)
More from 台灣資料科學年會
More from 台灣資料科學年會 (20)
謝宗震/隨機對照實驗在公共領域的應用
- 1. 隨機對照實驗 在公共領域的應用 謝宗震 (johnson@dsp.im) DSP 智庫驅動 首席資料科學家 2016/07/15 @ 資料科學愛好者年會
- 2. 2 • 清華統計博士（數學系、統計所） • 2007年開始寫R • DSP 智庫驅動資料科學家 • D4SG 資料英雄計畫主持人 • 「資料力，做公益」的交流與媒合平台 • 農業政策、家庭暴力、社會安全、NPO營運優化 謝宗震 博士 johnson@dsp.im
- 3. DSP 智庫驅動 資料科學 人才培育 顧問諮詢 改造社會 企業、政府團訓班 資料營隊 Data Challenge 資料力，做公益 D4SG 「資料思考」 DMS + R solution 3
- 6. 6 受測對象 隨機分派 實驗組/對照組 結果比較前測 http://goo.gl/a604qo (非必要) 用一頁介紹 隨機對照實驗 Randomized Controlled Trial, RCT
- 10. 10 接種疫苗提升孩童免疫力 受測對象：134個村落共1640位1-3歲孩童。隨機分派如下： http://goo.gl/980UiV 379 位孩童來自 30 個村落 382 位孩童來自 30 個村落 860 位孩童來自 74 個村落 Banerjee et al. BMJ, 2010
- 11. 11 接種疫苗提升孩童免疫力 實驗組 / 對照組 http://goo.gl/980UiV 有疫苗注射站 有疫苗注射站 + 微薄獎勵 對照組
- 12. 12 接種疫苗提升孩童免疫力 前測 / 結果比較 (為期18個月) http://goo.gl/980UiV 有疫苗注射站 有疫苗注射站 + 微薄獎勵 對照組 95% C.I. [3%, 9%] [11%, 23%] [30%, 47%] 1-3歲孩童 疫苗接種率
- 13. 13 接種疫苗提升孩童免疫力 統計顯著 vs. 商業顯著 http://goo.gl/980UiV 獎勵在每天11:00-14:00發放，故減少該注射站護理人員的人事成本 Camp w. incentives $27 Camp $56 平均每位孩童接種疫苗的成本比較
- 14. 如何幫助法院討債？
- 16. 16 寫一封有效果的討債簡訊 受測對象：2012年1-2月 1,817位曾收到警告函的債務人。 隨機分派至以下5種設定： Haynes et al. J. PAM, 2013 實驗設定 簡訊內容 None Standard Amount Personal Personal + Amount [Name], you have not paid your fine of £[Amount]. Pay immediately or a warrant will be issued to the bailiffs. Call 03007909901 quote ref [number] div [number]
- 18. 18 寫一封有效果的討債簡訊 成效評估 實驗設定 樣本數 簡訊轉換率 還款率 平均還款金額 None 366 - 5.2% £4.46 Standard 361 56.0% 23.2% £8.62 Amount 364 52.5% 25.2% £10.53 Personal 362 55.5% 33.0% £12.87 Personal + Amount 364 57.4% 29.0% £11.74 從 None 改用 Personal 方案，每年可以增加 £860,000 的收入 後來又做了一筆樣本數為 3,633 的實驗，其結果一致
- 21. 21 用一句標語打動人心 受測對象：2008年4月至2009年9月，共 830,364戶家庭。隨機分派如下： Kamdar et al. SPI, 2015 控制組 (標準版勸募函)：415,138份 實驗組 (唯一版勸募函)：415,226份致力於幫助唇顎裂兒童的國際 慈善機構。成立於1999年， 至今提供87國兒童免費治療。
- 22. 22 用一句標語打動人心 成效評估 實驗設定 Control Once and Done 樣本數 415,138 415,226 捐款者 1,413 2,722 首次捐款金額 $71,566 $152,928 % do not mail 19% 38% 再次捐款者 618 768 總捐款金額 $178,609 $260,783 扣除do not mail的家庭後， Control 方案有 50%願再次捐款，Once and Done 也有45% 從 Once and Done 方案總募款收入高於原始方案 46%
- 24. 24 開始之前，如何規劃一個實驗
- 25. 25 從 定義目標 開始 top-down 把真實問題限縮到可以被量化驗證的程度 • Business goals • 希望 [捐款金額倍增] • Marketing goals • 優化 [勸募函的轉換率] 使得 [捐款金額提升 x%] • Conversion goals • 利用 [Once and Done 方案] 提升 [轉換率 y%] • Transform goals to KPIs • 今年度有 [xxx 捐款戶] [總捐款金額 yyy] top-down 好的KPI • 容易被驗證 • 能夠解決原始問題 • 能夠獲得洞見 設計面
- 26. 26 或是從 發現問題 開始 把真實問題限縮到可以被量化驗證的程度 • 以線上捐款為例： • 觀察捐款頁面的放棄率 (abandonment rate) • 發現問題 • 主頁的「捐款支持」點擊數很高，但在捐款頁面的放棄率也高 • 找出原因 • 捐款頁面要填的欄位很多，解釋文字又複雜 • 提出建議 • 提出幾個改版方案以降低捐款頁面的放棄率 bottom-up 設計面
- 27. 27 前測 驗證隨機分派機制是否合理 A/A 測試 A/B 測試 工程面
- 28. 28 如何開始實驗
- 29. 29 測試目標 太多怎麼辦 PIE Framework • 列出潛在測試目標 (Potential) • 以轉換率高低對各個頁面做排序 • homepage > product page > category page 1, cart page … • 考量測試目標的重要性 (Importance) • 以80/20法則選擇首要測試目標 • category page 1的流量是否大到需要優先做優化 • 考量測試目標的效率 (Ease) • 技術考量 • 組織考量 • 政策考量 管理面
- 31. 31 測試方案 太多怎麼辦 考量效率 開發時間 預期效果 (轉換率) 顯著樣本數 測試時間 總時程 完全重新設計 30天 10% → 15% 599 3天 33天 只改變色調 2天 10% → 11% 14,313 72天 74天 如何決定要做哪種測試執？ • 欲要進行提升訪客註冊率的測試， 手上有兩種方案，你會怎麼選？ 管理面
- 32. 32 測試方案 太多怎麼辦 考量效率 如何決定要做哪種測試執？ • 欲要進行提升訪客註冊率的測試， 手上有兩種方案，你會怎麼選？ 開發時間 預期效果 (轉換率) 顯著樣本數 測試時間 總時程 完全重新設計 30天 10% → 15% 599 3天 33天 只改變色調 2天 10% → 11% 14,313 72天 74天 需要一點統計學素養 顯著樣本數計算工具：http://goo.gl/kywZdu 管理面 在測試過程中已經有統計顯著 差異，能不能提早停止實驗？
- 33. 33 多重測試 • 同時測試多種方案 (A/B/N Testing, Multivariate Testing) • 測試按鈕顏色 (綠、藍) • 測試按鈕顏色(綠, 藍) x 按鈕文字 (註冊, 加入) • 按鈕顏色 (2) x 按鈕文字 (2) x 文案說明 (2) x 主視覺 (2) • 對重要的方案進行測試 • 測試之間的獨立性 分析面 局部最佳 全部最佳
- 34. 34 最後，實驗設計的真實面
- 35. 35 實驗設計的真實面 • 實驗的前提假設就是做不到 • 無法隨機抽樣 • 無法獨立實驗 (同時間不同部門也在做) • 在一個公司或組織裡 • 誰提案？誰買單？誰實驗？ • 誰根據實驗結果設計行動？ • 誰負責執行結果？ • 分析結果出爐 • 不論是新方案根本沒效果，或是舊方案大錯特錯 • 若是究責政，辦公室政治問題如何處理？ 真實面 公司或組織導入實驗設計必須面對的問題