实战生长学习法

1. BitTiger.io
解读人：XXX
生长学习法
冯沁原

2. About me
• Ph.D. in PKU
• Maze, CANT, MAPS
• Microsoft Asia Fellow
• Director in KUWO
• Personalized Radio
• Web Platform, Online Show
• 50+ team & tens of millions income
• Senior Expert in BABA
• SUOPINGBAO
• Ali Knowledge Graph
• O2O Advertising
2
• Co-founder of BitTiger

3. 问题无处不在
• 如何在学校学习
• 如何在公司学习
• 如何成长
• 如何提升技能
• 如何技术选型
• 如何做到深度又不失广度
• 如何成为manager
• 如何创业
• 什么是好的程序员
• 什么是高速增长的方向

4. 举个真实的例子
• 拿外套 or 等朋友？
• 办公室很冷
• 外套在15分钟来回的地下车库里
• 有个朋友10分钟来找我
• 你错过了三次机会
• 问错问题
• 错过资源
• 只想没做

5. 你有三次机会
• 分析问题
• 为什么
• 整合资源
• 为什么
• 边做边看
• 为什么

6. 你需要多久读懂GFS

8. 传统学习法
• 破碎的知识点
• 关注What和How
• 学的慢忘的快

9. 十分钟解读GFS

10. Google File System

11. 如何保存一个文件？

12. 关键点
• 1 block = 1024Byte
保存一个文件
Disk
BlocksMetadata
fileInfo
Name=sangpo.mp4
CreatedTime=201508041442
Size=2044723
index
Block23 -> diskOffset
Block24 -> diskOffset
Block25 -> diskOffset
Block26 -> diskOffset
Block23
Block24
Block25
Block26
Block27
Block28
Block29
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
… …
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…

13. 如何保存大文件？

14. 保存一个大文件
Disk
Chunks
…
Metadata
fileInfo
Name=sangpo2.mp4
CreatedTime=201508041442
Size=20447231232
Index
Chunk25 -> diskOffset
Chunk26 -> diskOffset
Chunk27 -> diskOffset
Chunk29 -> diskOffset
Chunk31
Chunk25
Chunk26
Chunk29
Chunk27
Chunk01
…
• 关键点
• 1 chunk = 64MB
= 64*1024
= 65,536 blocks
• 优点
• 减少元数据
• 减少流量
• 缺点
• 小文件会浪费空间

15. 如何保存超大文件？

16. Master
保存超大文件
ChunkServer5
ChunksMetadata
Info
Name=sangpo.mp4
CreatedTime=201508041442
Size=40404044723
Index
Chunk25 -> CS5_diskOffset
Chunk26 -> CS5_diskOffset
Chunk27 -> CS5_diskOffset
Chunk29 -> CS5_diskOffset
Chunk12 -> CS3_diskOffset
Chunk11 -> CS3_diskOffset
Chunk19 -> CS3_diskOffset
Chunk01 -> CS5_diskOffset
Chunk31
Chunk25
Chunk26
Chunk29
Chunk27
Chunk01
…
ChunkServer3
Chunks
Chunk03
Chunk12
Chunk11
Chunk19
Chunk08
Chunk07
…
• 关键点
• Master + many ChunkServers
• 缺点
• ChunkServer数据的任何改变
都需要通知Master
… …

17. 如何减少Master存储的数据和流量？

18. Master
减少Master的数据和流量
ChunkServer5
Metadata
Info
Name=sangpo.mp4
CreatedTime=201508041442
Size=40404044723
Index
Chunk25 -> CS5
Chunk07 -> CS3
Chunk27 -> CS5
Chunk29 -> CS5
Chunk12 -> CS3
Chunk11 -> CS3
Chunk19 -> CS3
Chunk01 -> CS5
…
ChunkServer3
Chunks
…
Chunk03
Chunk12
Chunk11
Chunk19
Chunk08
Chunk07
…
• 关键点
• Master不记录每块数据的偏
移量（diskOffset）
• 优点
• 减少Master的元数据信息
• 减少Master和Chunkserver之
间的通信
Index
Chunk03 -> diskOffset
Chunk11 -> diskOffset
Chunk12 -> diskOffset
Chunk19 -> diskOffset
Chunk09 -> diskOffset
Chunk11 -> diskOffset
Chunk07 -> diskOffset
…
Chunks
…
Chunk31
Chunk25
Chunk26
Chunk29
Chunk27
Chunk01
…
Index
Chunk01 -> diskOffset
Chunk12 -> diskOffset
Chunk25 -> diskOffset
Chunk27 -> diskOffset
Chunk29 -> diskOffset
Chunk30 -> diskOffset
Chunk31 -> diskOffset
…

19. 如何发现数据损坏？

20. Chunk12
metadata
Block0 -> checksum
Block1 -> checksum
Block2 -> checksum
…
发现数据损坏
Block0
Block1
Block2
• 关键点
• 1 chunk = a list of blocks
• 1 block = 64KB
• Block保存检验和（checksum）
• 1 checksum = 32bit
• 1T文件的检验和大小
• 1T/64KB*32bit = 64MB
• 读取一块数据时对checksum进
行验证
Block3
Block4
Block5
Block6
Block7

21. 如何减少ChunkServer挂掉带来的损失？

22. WA 数据中心CA 数据中心
减少ChunkServer挂掉带来的损失
• 关键点
• 复制Chunks
• 创建多少副本？
• 3
• 如何选择一个副本的ChunkServer？
• 硬盘利用率低
• 限制最新数据块的写入数量
• 跨机架跨中心：2+1
ChunkServer3
…
Chunk03
Chunk12
Chunk11
Chunk19
Chunk08
Chunk07
…
ChunkServer5
…
Chunk02
Chunk13
Chunk46
Chunk89
Chunk03
Chunk09
…
ChunkServer4
…
Chunk31
Chunk34
Chunk44
Chunk03
Chunk22
Chunk09
…
Master
Index
…
Chunk03 -> CS3
Chunk26 -> CS5, CS7, CS6
Chunk27 -> CS2, CS4, CS5
…
, CS5, CS4

23. 如何恢复损坏的chunk？

24. 恢复损坏的chunk
• 关键点
• 向Master求助
ChunkServer3
…
Chunk03
Chunk12
Chunk11
Chunk19
Chunk08
Chunk07
…
ChunkServer5
…
Chunk02
Chunk13
Chunk46
Chunk89
Chunk03
Chunk09
…
ChunkServer4
…
Chunk31
Chunk34
Chunk44
Chunk03
Chunk22
Chunk09
…
Master
Index
…
Chunk03 -> CS3, CS5, CS4
Chunk26 -> CS5, CS7, CS6
Chunk27 -> CS2, CS4, CS5
…
1. 我的Chunk03坏了，谁还有？
2. Ask CS3 and CS5
3. 我需要Chunk3
4. 给你Chunk3

25. 如何发现ChunkServer挂掉了？

26. 发现ChunkServer挂掉
• 关键点
• 心跳
ChunkServer3
…
Chunk03
Chunk12
Chunk11
Chunk19
Chunk08
Chunk07
…
ChunkServer5
…
Chunk02
Chunk13
Chunk46
Chunk89
Chunk03
Chunk09
…
ChunkServer4
…
Chunk31
Chunk34
Chunk44
Chunk03
Chunk22
Chunk09
…
Master
ChunkServers
…
ChunkServer2 20150912_1931
ChunkServer3 20150912_1931
ChunkServer4 20150912_1928
ChunkServer5 20150912_1930
…
我活着 我活着
ChunkServer2
…
Chunk11
Chunk73
Chunk74
Chunk75
Chunk89
Chunk02
…
我活着

27. ChunkServer挂掉后，如何恢复数据？

28. ChunkServer挂掉后恢复数据
• 关键点
• 基于存活副本数的恢复策略
ChunkServer3
…
Chunk03
Chunk12
Chunk11
Chunk19
Chunk08
Chunk07
…
ChunkServer5
…
Chunk02
Chunk13
Chunk46
Chunk89
Chunk03
Chunk09
…
ChunkServer4
…
Chunk31
Chunk34
Chunk44
Chunk03
Chunk22
Chunk09
…
Master
Index
…
Chunk03 -> CS3, CS5, CS4
Chunk26 -> CS5, CS7, CS6
Chunk27 -> CS2, CS4, CS5
…
ChunkServer2
…
Chunk11
Chunk73
Chunk74
Chunk75
Chunk89
Chunk02
…
修复进程
Working list
• Chunk99, CS1
• Chunk03, CS3, CS5
• …
ChunkServers
…
ChunkServer2 20150808_1931
ChunkServer3 20150808_1931
ChunkServer4 20150808_1928
ChunkServer5 20150808_1930
…

29. 如何应对热点？

30. 应对热点
• 关键点
• 当副本过度繁忙，复制到更多
ChunkServer
• 基于ChunkServer的硬盘和带宽
利用率来选择
ChunkServer3
…
Chunk03
Chunk12
Chunk11
Chunk19
Chunk08
Chunk07
…
ChunkServer5
…
Chunk02
Chunk13
Chunk46
Chunk89
Chunk03
Chunk09
…
ChunkServer7
…
Chunk31
Chunk34
Chunk44
Chunk03
Chunk22
Chunk09
…
Master
ChunkServer2
…
Chunk11
Chunk73
Chunk74
Chunk75
Chunk89
Chunk02
…
热点平衡进程
Chunk stats
• Chunk00, access frequency = 100
• Chunk01, access frequency = 50
• …
Server stats
• ChunkServer01, free space = 21%, free bandwidth = 15%
• ChunkServer02, free space = 50%, free bandwidth = 21%
• …

31. 如何读文件？

32. 读文件过程
Application
GFS client
GFS master
File namespace /foo/bar
Chunk 2ef0
ChunkServer0
Linux file system
ChunkServer5
Linux file system
1. (Filename, chunk index)
2. (Chunk handle, chunk locations)
3. (Chunk handle, byte range)
4. Chunk data

33. 如何写文件？

34. 写文件过程
Application
GFS client GFS master
Chunkserver 3
Primary replica
Chunkserver 5
Secondary replica B
Chunkserver 0
Secondary replica A
1. Where is (chunk, 2ef0)
2. The primary is CS3, the replicas are CS0 and CS5
3.1 Cache (2ef0)
3.2 Cache (2ef0)
3.3 Cache (2ef0)3.4 (2ef0) is cached
3.5 (2ef0) is cached
3.6 (2ef0) is cached
4. All is cached
5. Write (2ef0))
5. Write (2ef0))
6. Done
6. Done
7. Done

35. 总结
• 不要背答案，学会找到特定问题的特定方案
• GFS特定于大文件的场景
• 读写过程是核心

36. 生长学习法（Graph Learning）
• 逻辑串联的知识网
• 起源于Why
• 优点
• 记得牢
• 举一反三

37. 你需要多久学懂MongoDB

38. 传统学习法
• 破碎的知识点
• 关注What和How
• 学的慢忘的快

39. 十分钟解读MongoDB

40. 40
What is the data crawled from a webpage?

41. 41
Crawl and save a page from Huawei
URL = "appstore.huawei.com/app/C5683"
PageSource = "…<title>微信免费下载_华为应用…"
ID = 5683
Name = "微信"

42. 42
How to save these contents?

43. 43
Save into a file
URL = "appstore.huawei.com/app/C5683"
PageSource = "…<title>微信免费下载_华为应用…"
ID = 5683
Name = "微信"
URL = "appstore.huawei.com/app/C7166"
PageSource = "…<title>微博免费下载_华为应用…"
ID = 7166
Name = "微博"
URL = "appstore.huawei.com/app/C5373"
PageSource = "…<title>支付宝免费下载_华为应用…"
ID = 5373
Name = "支付宝"

44. 44
How to add Version="5.7.0" to Weibo?

45. 45
Add Version = "5.7.0" to Weibo
URL = "appstore.huawei.com/app/C5683"
PageSource = "…<title>微信免费下载_华为应用…"
ID = 5683
Name = "微信"
URL = "appstore.huawei.com/app/C7166"
PageSource = "…<title>微博免费下载_华为应用…"
ID = 7166
Name = "微博"
Version = "5.7.0"
URL = "appstore.huawei.com/app/C5373"
PageSource = "…<title>支付宝免费下载_华为应用…"
ID = 5373
Name = "支付宝"
URL = "appstore.huawei.com/app/C7166"
PageSource = "…<title>微博免费下载_华为应用…"
ID = 7166
Name = "微博"

46. 46
How to read faster with fragments?

47. 47
Add pre/next points to read faster
URL = "appstore.huawei.com/app/C5683"
PageSource = "…<title>微信免费下载_华为应用…"
ID = 5683
Name = "微信"
URL = "appstore.huawei.com/app/C7166"
PageSource = "…<title>微博免费下载_华为应用…"
ID = 7166
Name = "微博"
Version = "5.7.0"
URL = "appstore.huawei.com/app/C5373"
PageSource = "…<title>支付宝免费下载_华为应用…"
ID = 5373
Name = "支付宝"

48. 48
How to reduce fragments?

49. 49
Add padding into documents
URL = "appstore.huawei.com/app/C5683"
PageSource = "…<title>微信免费下载_华为应用…"
ID = 5683
Name = "微信"
URL = "appstore.huawei.com/app/C7166"
PageSource = "…<title>微博免费下载_华为应用…"
ID = 7166
Name = "微博"
URL = "appstore.huawei.com/app/C5373"
PageSource = "…<title>支付宝免费下载_华为应用…"
ID = 5373
Name = "支付宝"
Padding
Padding
Padding
Version = "5.7.0"

50. 50
How to save into disk?

51. 51
Save into a file
Disk
Existing file
Existing file
Existing file
Existing file

52. 52
How to reduce fragments?

53. 53
Pre-allocate a large space

54. 54
What is the size to be pre-allocated?

55. 55
Pre-allocate with 16M, 32M, … 2G
16M
32M

56. 56
How to find ID within [5000,7000]?

57. 57
Index with binary search tree
URL = appstore.huawei.com/app/C5683
PageSource = "…<title>微信免费下载_华为应用…"
ID = 5683
Name = "微信"
URL = appstore.huawei.com/app/C7166
PageSource = "…<title>微博免费下载_华为应用…"
ID = 7166
Name = "微博"
URL = appstore.huawei.com/app/C5373
PageSource = "…<title>支付宝免费下载_华为应用…"
ID = 5373
Name = "支付宝"
6000
5000 7000
6541 716656834199
5373

58. 58
Congratulation!
You have implemented MongoDB

59. 59
Summary of MongoDB
• MongoDB saves documents whose attributes can be updated freely
• MongoDB adds paddings into documents to reduce fragments
• MongoDB uses pre/next points to increase lookup speed
• MongoDB saves the documents into a sequence of 16M, 32M, … 2GB files
• MongoDB uses BTree (a better version of BST) to build index
6000
5000 7000
6541 71665683

60. 生长学习法（Graph Learning）
• 逻辑串联的知识网
• 起源于Why
• 优点
• 记得牢
• 举一反三

61. 如何在学校学习
• 这是个问题吗？
• 为什么学习
• 获得认可
• 获得金钱

62. 如何成长？
• 为什么成长？
• 成长的方法是什么？
• 读书
• 向牛人学习
• Google

63. 怎么向牛人学习？
• 共事

64. 什么能力是职场上的程序最重要的能力？
• 程序员要完成什么？
• 抽象能力？
• 学习能力？
• 沟通能力？

65. 家人不同意我学计算机怎么办？
• 纠结很久，怎么破？

66. 总结
• 生长学习法
• 通过“为什么”将破碎的知识点串联成知识网的学习方法

67. 什么让我们短视
• 习惯
• 为什么有习惯呢？
• 矛盾
• 为什么有矛盾呢？

68. 虚假的天才
• 当我登临高峰，我知道所谓的天才都是骗人的

69. 关注微信，获得太阁最新信息
微信: bit_tiger
官网: BitTiger.io
BitTiger.io