Building a data-driven business

1. Building a Data-Driven
Business
Bryan 2019.06

2. About Me
● 資料工程協會常務理事
● SparkTW 創辦人
● 資料架構師/工程師/科學家/顧問
● 媒體/廣告/電信/行銷顧問

3. 今天的內容：三不一沒有
● 不是給分析師
● 不是給資料科學家
● 不是給不關心資料價值的人
● 沒有任何公式

4. 今天的對象
● 重視 Impact 勝於 Outcome 的資料人
● 手握一堆資料但是覺得沒什麼用的公司高層
● 想要讓 Data Team 更「敏捷」的 Team Lead
或 Scrum Master

5. 以下故事由真實經驗改編
若有雷同純屬巧合

6. A客戶：我要做一個用戶貼標
系統

7. Q：請面對這樣的問題你會回答？
1. 你有多少預算？
2. 你什麼時候要？
3. 你要不要找別人？
4. 其他＿＿＿

8. 我：為什麼要需要這個系統

9. 客戶：我們想要針對用戶屬
性去投廣告

10. 我：那現在怎麼做的？

11. 客戶：行銷端會跟 IT 講需求，
IT 會撈名單給行銷確認
確認好之後會交由另外一個部門發送簡訊

12. 我：這樣的模式目前遇到什
麼問題？

13. 客戶：
如果六日要發送訊息，就需要請同事加班。
而且因為週休二日，也無法針對週末活動結果撈名單投放。

14. 我：所以你們需要...?

15. 請問客戶需要什麼？
1. 自動貼標系統
2. 用戶資料
3. 資料分析師/資料科學家
4. 其他____

16. 我：所以你們其實需要一個「系統」，
可以幫助你們把每個環節串起來？

17. 客戶：對

18. Lessons Learned

19. 資料的目的？

20. 具體的作法？

21. 我要找一個 ML 專家
https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems
ML Code

23. 我要找個 Data Team
https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems

24. 給我一個復仇者聯盟
https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems

25. 全公司誰跑得掉？
Data
Frontend
Backend
DevOps
Marketing
Sales
Product

26. 嚴重的 Silo
Data
Frontend
Backend
DevOps
Marketing
Sales
Product

27. End-to-End 資料解決
方案

28. 以終為始
Data -> Data Product -> Impact (X)
Impact -> Data Product -> Data (O)

29. DataOps：從 Data 到 Deliver

30. DataOps 是非常實務的領域

31. 持續遞交資料價值

32. 組建團隊

34. 能力普普的精神
領袖
喜歡自己扛事的
科技宅
脾氣暴差的自幹
王
管不住自己弟弟
的大神
來打醬油的
盡力做好
的苦力

35. 著重「整體」的技能屬性，而非單一個人
● 分析
● 建模
● 視覺化
● 業務溝通
● 軟體工程
● 雲端架構
● ...

36. 建立團隊共識-DataOps 宣言
● 個人與互動重於流程與工具
● 可用的分析重於詳盡的文件
● 與客戶合作重於合約協商
● 實驗、迭代以及回應重於大量的前期設計
● 跨部門的營運所有權重於獨立的責任

37. 資料專案啟動流程 SOP
釐清資料目的 確認資料需求 盤點現有資料 製作 MVP

38. MVP 目的
1. 確認現有資料可以提供的價值
2. 確認還需要補足的資料（不要吃碗裡看碗外）
3. 確認技術流程可以系統化
4. 確認跨部門合作流程

39. 進入資料產品開發流程
https://towardsdatascience.com/data-science-agile-cycles-my-method-for-managing-data-science-projects-
in-the-hi-tech-industry-b289e8a72818

40. 老闆：東西什麼時候才會好
？

41. 讓資料團隊更「敏捷」?

42. 當資料分析/模型作為一種產品
https://image.slidesharecdn.com/yhvrrjswqo65wwaznow0-140618094831-phpapp02/95/impact-maps-and-story-maps-delivering-
what-really-matters-6-638.jpg?cb=1403085006

43. 持續地滿足客戶需求

44. 有價值且可用的分析

45. 團隊運動 & 減少英雄主義
https://medium.com/data-ops/dataops-is-not-just-devops-for-data-6e03083157b7

46. 分析即程式碼 & 分析即生產 & 可再製的結果
https://medium.com/data-ops/dataops-is-not-just-devops-for-data-6e03083157b7

47. 拋棄式的環境 & 監控品質與效能
https://medium.com/data-ops/dataops-is-not-just-devops-for-data-6e03083157b7

48. 擁抱變化 & 改進迭代週期
https://www.mendix.com/blog/agile-process-why-you-need-feedback-loops-both-during-and-after-sprints/

49. 持續改善的開發流程

50. 讓我們回到客戶A的案例

51. 解決當務之急
● 先用簡單的排程工具，把產生資料到寄送的過程串起來
● SQL 可以事先定義，只要確認邏輯正確，不需要人工複審
● SQL 執行後，清單直接送到寄送單位，可以由人工確定資料筆
數無誤後寄送

52. 透過 MVP 確認想法和資料
● 建立使用者資料（CRM Data）
● 透過使用者歷史紀錄給予特定標籤
● 透過使用者活動紀錄給予特定標籤
● 撈取特定標籤發送活動通知
● 透過 A/B 測試確認投放效果

53. 下一步
● 系統化
● 自動化
● 紀錄實驗結果
● 建立預測模型
● 透過實驗反饋調整

54. Take home message

55. Ｍind Set
● 需要資料做什麼
● 一定要用這個方式做嗎？

56. Team Building
● 一般性專家
● 混合專長團隊

57. Data Analytic as a Product
● Continuous Delivery
● Continuous Improvement

58. Thank you！
網誌：https://medium.com/bryanyang0528 亂點技能的跨界人生
FB搜尋：台灣資料工程協會/ DevOps 台灣