「大數據之路：阿里巴巴大數據實戰」 讀書心得

1. 「⼤數據之路：阿⾥巴巴⼤數據實戰」
泰瑋 2020/08/19

2. Table of Contents
• Motivation: Why do we need a Feature Store ?
• Brief Introduction of Feature Store
• Key to Take Away

3. 這些遊戲都是 Supercell 做的
⼀年淨利15億美⾦，員⼯卻不到 200 ⼈，怎麼辦到的？

4. Supercell 的中台
• 通⽤的遊戲素材
• 通⽤的遊戲引擎
• 通⽤的算法

7. ODS (Operational Data Store)
• 底層
• 幾乎跟 data source ⼀樣，備份出來是避免 ETL 的 job 造成
production 的 DB loading 太重
• Data Cleansing

8. DWD (Data Warehouse Detail)
• 把 fact table 跟 dimension table 通通 join 回來
• e.q.
• Fact table: user id, date, post id
• Dimension table:
• user id, name, gender
• Post id, title, content

9. DWM (Data Warehouse Middle)
• 根據上⼀層 DWD 計算出⼀些 Count, Sum, Avg 等 statistical metric
• 這些指標⼤家都會問，統⼀算⼀次可以節省算⼒

10. DWS (Data Warehouse Service)
• 依主題劃分，贊助商、志⼯、會眾、場地、網站
• 只保留跟這個主題相關的維度
• 算專屬這個主題的指標 e.q. 只跟會眾相關的，計算他總共來了幾次
PyCon、最愛的 talk 類型這類指標

11. APP (Application Data Store)
• 跟業務⾼度相關的報表：
• 議程組：會眾的 retention （based on DWS 的會眾主題表）
• 贊助組：贊助商的 retention (based on DWS 的贊助商主題表）

12. ML (Machine Learning Layer)
• 根據 DWS 算 Vector, Label based 的 feature 給未來的 model ⽤

13. Key to Take Away
• 中台可以避免組織重⼯
• 中台必須是通⽤、模組化
• 通⽤的服務、數據都可以整理成中台