1. 隨機對照實驗
在公共領域的應用
謝宗震 (johnson@dsp.im)
DSP 智庫驅動 首席資料科學家
2016/07/15 @ 資料科學愛好者年會

2. 2
• 清華統計博士（數學系、統計所）
• 2007年開始寫R
• DSP 智庫驅動資料科學家
• D4SG 資料英雄計畫主持人
• 「資料力，做公益」的交流與媒合平台
• 農業政策、家庭暴力、社會安全、NPO營運優化
謝宗震 博士
johnson@dsp.im

3. DSP 智庫驅動
資料科學
人才培育
顧問諮詢 改造社會
企業、政府團訓班
資料營隊
Data Challenge
資料力，做公益
D4SG
「資料思考」
DMS + R solution
3

4. 4
為什麼要談公共領域的應用

5. 5
因為我有一顆為社會服務的心
不是因為商業案例通通不能講

6. 6
受測對象 隨機分派 實驗組/對照組 結果比較前測
http://goo.gl/a604qo
(非必要)
用一頁介紹 隨機對照實驗
Randomized Controlled Trial, RCT

7. 7
三個公共領域案例
四個實驗挑戰面向

8. 8
如何消滅貧窮？
https://goo.gl/MVHfb9

9. 9
如何消滅貧窮？
https://goo.gl/MVHfb9
接種疫苗提升孩童免疫力

10. 10
接種疫苗提升孩童免疫力
受測對象：134個村落共1640位1-3歲孩童。隨機分派如下：
http://goo.gl/980UiV
379 位孩童來自 30 個村落
382 位孩童來自 30 個村落
860 位孩童來自 74 個村落
Banerjee et al. BMJ, 2010

11. 11
接種疫苗提升孩童免疫力
實驗組 / 對照組
http://goo.gl/980UiV
有疫苗注射站
有疫苗注射站 + 微薄獎勵
對照組

12. 12
接種疫苗提升孩童免疫力
前測 / 結果比較 (為期18個月)
http://goo.gl/980UiV
有疫苗注射站
有疫苗注射站 + 微薄獎勵
對照組
95% C.I. [3%, 9%] [11%, 23%] [30%, 47%]
1-3歲孩童
疫苗接種率

13. 13
接種疫苗提升孩童免疫力
統計顯著 vs. 商業顯著
http://goo.gl/980UiV
獎勵在每天11:00-14:00發放，故減少該注射站護理人員的人事成本
Camp w.
incentives
$27
Camp
$56
平均每位孩童接種疫苗的成本比較

14. 如何幫助法院討債？

15. 15
寫一封有效果的討債簡訊
如何幫助法院討債？

16. 16
寫一封有效果的討債簡訊
受測對象：2012年1-2月 1,817位曾收到警告函的債務人。
隨機分派至以下5種設定：
Haynes et al. J. PAM, 2013
實驗設定 簡訊內容
None
Standard
Amount
Personal
Personal + Amount
[Name], you have not paid your fine of
£[Amount]. Pay immediately or a warrant
will be issued to the bailiffs. Call
03007909901 quote ref [number] div
[number]

17. 17
寫一封有效果的討債簡訊
結果比較
https://goo.gl/yMe9jO

18. 18
寫一封有效果的討債簡訊
成效評估
實驗設定 樣本數 簡訊轉換率 還款率 平均還款金額
None 366 - 5.2% £4.46
Standard 361 56.0% 23.2% £8.62
Amount 364 52.5% 25.2% £10.53
Personal 362 55.5% 33.0% £12.87
Personal + Amount 364 57.4% 29.0% £11.74
從 None 改用 Personal 方案，每年可以增加 £860,000 的收入
後來又做了一筆樣本數為 3,633 的實驗，其結果一致

19. 如何提升慈善捐款？
http://goo.gl/R1yY7t

20. 如何提升慈善捐款？
http://goo.gl/R1yY7t
用一句標語打動人心
只要捐款一次，以後不再打擾！

21. 21
用一句標語打動人心
受測對象：2008年4月至2009年9月，共 830,364戶家庭。隨機分派如下：
Kamdar et al. SPI, 2015
控制組 (標準版勸募函)：415,138份
實驗組 (唯一版勸募函)：415,226份致力於幫助唇顎裂兒童的國際
慈善機構。成立於1999年，
至今提供87國兒童免費治療。

22. 22
用一句標語打動人心
成效評估
實驗設定 Control Once and Done
樣本數 415,138 415,226
捐款者 1,413 2,722
首次捐款金額 $71,566 $152,928
% do not mail 19% 38%
再次捐款者 618 768
總捐款金額 $178,609 $260,783
扣除do not mail的家庭後，
Control 方案有 50%願再次捐款，Once and Done 也有45%
從 Once and Done 方案總募款收入高於原始方案 46%

23. 23
四個挑戰面向
設計面 工程面 管理面分析面

24. 24
開始之前，如何規劃一個實驗

25. 25
從 定義目標 開始
top-down 把真實問題限縮到可以被量化驗證的程度
• Business goals
• 希望 [捐款金額倍增]
• Marketing goals
• 優化 [勸募函的轉換率] 使得 [捐款金額提升 x%]
• Conversion goals
• 利用 [Once and Done 方案] 提升 [轉換率 y%]
• Transform goals to KPIs
• 今年度有 [xxx 捐款戶] [總捐款金額 yyy]
top-down
好的KPI
• 容易被驗證
• 能夠解決原始問題
• 能夠獲得洞見
設計面

26. 26
或是從 發現問題 開始
把真實問題限縮到可以被量化驗證的程度
• 以線上捐款為例：
• 觀察捐款頁面的放棄率 (abandonment rate)
• 發現問題
• 主頁的「捐款支持」點擊數很高，但在捐款頁面的放棄率也高
• 找出原因
• 捐款頁面要填的欄位很多，解釋文字又複雜
• 提出建議
• 提出幾個改版方案以降低捐款頁面的放棄率
bottom-up
設計面

27. 27
前測
驗證隨機分派機制是否合理
A/A 測試 A/B 測試
工程面

28. 28
如何開始實驗

29. 29
測試目標 太多怎麼辦
PIE Framework
• 列出潛在測試目標 (Potential)
• 以轉換率高低對各個頁面做排序
• homepage > product page > category page 1, cart page …
• 考量測試目標的重要性 (Importance)
• 以80/20法則選擇首要測試目標
• category page 1的流量是否大到需要優先做優化
• 考量測試目標的效率 (Ease)
• 技術考量
• 組織考量
• 政策考量
管理面

30. 30
PIE framework table
http://goo.gl/EaazmH
管理面

31. 31
測試方案 太多怎麼辦
考量效率
開發時間 預期效果
(轉換率)
顯著樣本數 測試時間 總時程
完全重新設計 30天 10% → 15% 599 3天 33天
只改變色調 2天 10% → 11% 14,313 72天 74天
如何決定要做哪種測試執？
• 欲要進行提升訪客註冊率的測試，
手上有兩種方案，你會怎麼選？
管理面

32. 32
測試方案 太多怎麼辦
考量效率
如何決定要做哪種測試執？
• 欲要進行提升訪客註冊率的測試，
手上有兩種方案，你會怎麼選？
開發時間 預期效果
(轉換率)
顯著樣本數 測試時間 總時程
完全重新設計 30天 10% → 15% 599 3天 33天
只改變色調 2天 10% → 11% 14,313 72天 74天
需要一點統計學素養
顯著樣本數計算工具：http://goo.gl/kywZdu
管理面
在測試過程中已經有統計顯著
差異，能不能提早停止實驗？

33. 33
多重測試
• 同時測試多種方案 (A/B/N Testing, Multivariate Testing)
• 測試按鈕顏色 (綠、藍)
• 測試按鈕顏色(綠, 藍) x 按鈕文字 (註冊, 加入)
• 按鈕顏色 (2) x 按鈕文字 (2) x 文案說明 (2) x 主視覺 (2)
• 對重要的方案進行測試
• 測試之間的獨立性
分析面
局部最佳
全部最佳

34. 34
最後，實驗設計的真實面

35. 35
實驗設計的真實面
• 實驗的前提假設就是做不到
• 無法隨機抽樣
• 無法獨立實驗 (同時間不同部門也在做)
• 在一個公司或組織裡
• 誰提案？誰買單？誰實驗？
• 誰根據實驗結果設計行動？
• 誰負責執行結果？
• 分析結果出爐
• 不論是新方案根本沒效果，或是舊方案大錯特錯
• 若是究責政，辦公室政治問題如何處理？
真實面
公司或組織導入實驗設計必須面對的問題

36. 36
thank you
johnson@dsp.im