天气预报与媒体的变革 彩云的技术路线 彩云的技术架构

2. 彩云天⽓气
创新点、扩展性、技术架构
苑明理理
2016年年7⽉月

3. ⽬目录
• 创新点：媒体变⾰革与天⽓气预报（商业创新）
• 扩展性：计算思维视⻆角下的规模扩张（技术路路线）
• 技术与架构：程序员的⼩小技雕⾍虫（技术架构）

4. 创新点
媒体变⾰革与天⽓气预报

5. 达尔⽂文的
⼩小猎⽝犬号之旅

6. 罗伯特·菲茨罗伊
1861年年8⽉月1⽇日
《泰晤⼠士报》
天⽓气观测⽹网与预报

7. 乔治·考林林
1951年年1⽉月11⽇日

8. ⼿手机让我们可以捕捉到
每个⼈人当下所在的时间和空间
为公众提供每个⼈人独有的个性化天⽓气预报

9. ⼿手机让⽤用户可以回传他本地的天⽓气状况
⽤用众包的⽅方式来校准数据和预报

10. 每⼀一部⼿手机都是⼩小⼩小⽓气象站
可以收集到⼤大量量数据
其数据量量甚⾄至可以超越传统的⼿手段

11. 扩展性
计算思维下的规模扩张

12. 彩云为何可以⽤用⼩小的资源
去撬动中国⽓气象市场的⼤大局
技术的⻆角度如何解释？

14. 问题的规模
要求每分钟计算的格点数
中国的国⼟土⾯面积
9600000
x ⾼高度上的层数
x 32
307200000
亿

19. 机器器学习去捕捉⾬雨的⽣生成和消散
动⼒力力学去追踪球⾯面上的⾬雨云移动
降三维问题为⼆二维问题
307200000
9600000
？

20. 函数求值的⽅方式
积极求值：适合批处理理计算
惰性求值：适合响应式计算
💪
😴
307200000
9600000
～2000

21. 技术与架构
程序员的⼩小技雕⾍虫

22. 数据处理理流程
爬⾍虫、外部数据接⼝口、实时数据采集
数据清理理
基础数据
数据服务
模型的训练
模型
模型
应⽤用服务
流式数据系统：5 条数据流线
近实时数据系统：1 分钟延迟

23. 凌乱的数据流⽹网
A
B
C
D
E
F
G

24. 流⽹网的有序化
A
B
C D
E F
G
Data
Hub
H

25. 分布式⽂文件系统
A
B
C D
E F
G
Data
Hub
H
Data
Node
Data
Node

26. 编写⾼高效数据服务的⼀一些困难
可⽤用性
可扩展
在服务做扩展的时候，数据流⽔水线要能简单顺畅地与新节点衔接
加机器器
可扩展
基础数据规模⽐比较⼤大，如果 worker 数量量多，内存会出现瓶颈
加进程
基础数据更更新和模型更更换时，能够不不停机提供服务
快、快、快……
程序处理理速度快；数据的加载速度快；编程模型简单开发速度快

27. 快、快、快
6 分钟：雷雷达的数据更更新周期
200 余部：实时更更新的雷雷达数量量
60 秒钟：抓取、分析、对外服务全部完成
程序处理理最快的数据结构
加载最快的数据结构
编程最简单的数据结构
数组

28. 进程间共享⼤大数据块
mmap 是很⽼老老的技术，属于 POSIX 标准的⼀一部分
mmap 在 numpy ⾥里里有⾮非常易易⽤用的接⼝口

29. 案例例
8 核 16 G 的典型阿⾥里里云服务器器
20 个 Woker 的数据服务
单机1000+ 的 QPS
插值；⼈人⼯工神经元⽹网络预测；解算微分⽅方程

30. 展望

31. ⽓气象预测的难度
动⼒力力学主导 统计模型主导
⼏几天的天⽓气预报 ⼗十年年尺度的⽓气候预测
⼏几周的天⽓气预报到年年间的⽓气候预测
可解 可解
⾮非常难

32. 类⽐比于多体问题？
• ⼆二体问题严格可解
• 三体问题？
• 太阳系⼤大⾏行行星轨道的⻓长期演化？
• 星系的旋壁结构：密度波理理论

33. 最近的⼀一些突破
• 直觉 + ⾼高阶认知
• AlphaGo：NN + MCTS
• 机器器翻译：NN + Search

34. 融合深度学习与微分⽅方程
• 对于预测问题来说：
• 微分⽅方程：过去数百年年⼈人类锐利利的武器器
• 神经⽹网络：最近数⼗十年年最有⽤用的⼯工具
• ⾼高阶认知+直觉
• ⾼高阶认知：微分⽅方程
• 直觉：去⽤用复杂⽅方式组合简单问题的微分⽅方程的解
• 对⽐比于微扰只考虑简单问题解的某种简单组合

35. 短临天⽓气预报
• 简化为⼆二维的唯像模型
⽣生消过程 当地预报 输送过程