数据采集的那些事儿

1. 第一季.第三集

2. 前端数据产品组
用户数据
我们的圈子：http://www.alibabatech.org/gprofile/28

3. 上集回顾
反馈系统
季札：@oldj

4. 数据源头的那些事儿
鱼相：@前端攻城狮

5. 本集内容
• 为什么要采集
• 怎么采集
• 遇到的问题与解决方案

6. 为什么要采集？
• 为数据分析提供丰富的、准 的、完整
的数据来源。

7. 怎么采集
• 服务器日志
• 反向代理
• 网络窃听器
• 面客户端代理
• JavaScript

8. 服务器访问日志

9. 反向代理

10. 网络窃听器

11. 面客户端代理

12. JavaScript

13. 在数据采集中遇到的问题与解决

14. 代码不共享

15. 可配置化

16. 采集成本大

17. 裸写

18. 模块化

19. 插件化

20. 影响页面性能

21. 公共代码抽离
• tools.js
• cookie.js
• recorder.js
• url.js

22. 任务调度机制
• 丢失率要求
• combo
• 步加载

23. 任务残留
• 只管上，不管下。

24. 保质期

25. 重 打点
• 拷贝页面源代码

26. 唯一性校验

27. 特殊页面需求
• 特定服务器
• 特定抽样率
• ...

28. 狼烟对象

29. image打点丢失
• 浏览器GC回收无主对象

30. 全局变量

31. onreadystatechange与
• opera
• IE9
• IE10

32. 执行即注销

33. 待解决
• 代码自动更新
• 集团统一埋点
• 让非技术人员也能使用

34. 下集预告

35. Thanks