at AWS Summit 2016(Beijing) http://www.awssummit.cn/

1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
吕毅
2016.09
链家⽹网存储架构变迁

2. ⾃自我介绍
吕毅
• 链家⽹网架构师
• 曾供职于新浪平台架构部、百度移动云事业部
• 参与项⽬目新浪SAE，百度移动搜索、⼿手机百度APP
• 2015年年9⽉月加⼊入链家⽹网
• 2015.10~2016.8，负责链家⽹网平台服务建设
• 2016.8⾄至今，负责链家⽹网⼤大数据平台建设

3. ⽬目录
➢ 链家⽹网与存储架构变迁
➢ ⼀一场持续半年年的存储改造⼯工作
➢ 我们所熟悉的AWS S3
➢ Q&A

4. 链家⽹网与存储架构变迁

5. 链家⽹网线上业务历程
链家地产成⽴立
链家在线、HERP系统上线运营
“楼盘字典”项⽬目启动
2001年年
2007年年
2008年年
2012年年
链家提出“真房源”
SE(Sales Effectiveness)系统上线
TE(Transaction Effectiveness)系统上线
“掌上链家”APP发布
“链家在线”更更名为“链家⽹网”
域名变更更为Lianjia.com
着⼿手重建to C业务
着⼿手⾃自研SE、TE系统
2014年年
2016年年
SE、TE合并为Link系统
“楼盘字典”项⽬目积累6000万房产信息

6. 链家⽹网存储架构变迁
链家地产成⽴立
链家在线、HERP系统上线运营
“楼盘字典”项⽬目启动
2001年年
2007年年
2008年年
2012年年
链家提出“真房源”
SE(Sales Effectiveness)系统上线
TE(Transaction Effectiveness)系统上线
“掌上链家”APP发布
“链家在线”更更名为“链家⽹网”
启⽤用域名Lianjia.com
2014年年
2016年年
SE、TE合并为Link系统
“楼盘字典”项⽬目积累6000万房产信息
传统⽂文件系统
FastDFS
Ceph
AWS S3

7. 链家⽹网存储服务相关数据
总存储⽂文件：
8270万+
总存储容量量：
43TB
65%
房源实勘图
4%
⽂文件
备份
13%
⾳音视频
15%
其他图⽚片
2%
其他

8. ⼀一场持续半年年的存储改造⼯工作

9. 为什什么要改造?
使⽤用Ceph遇到了了问题：
容量量不不够
维稳成本
数据备份
为什什么选⽤用AWS S3?
使⽤用S3不不需要操⼼心的事：
容量量规划
存储管理理
数据备份
维修硬件

10. 云存储为何选⽤用S3? (1/2)
⼗十年年 S3

11. 云存储为何选⽤用S3? (2/2)
11个9的持久性

12. 链家⽹网存储架构 2015年年
corporate data center
AWS Direct
Connect
ELB
(internal)
EC2
（Web Services）
ELB
(public)
Ceph
Business group
Business A
Business B
Projects
(Web services)
80% 20%

13. 链家⽹网基于AWS S3的存储架构
corporate data center
AWS Direct
Connect
Projects
(internal)
ELB
(internal)
EC2
(auto scaling)
ELB
(public)
S3 Redshift
Cache
security group
Availability Zone

14. 存储架构改造中遇到的问题
存量量与增量量的问题
业务⽅方迁移成本
写⼊入数据双写
数据迁移

15. 我们所熟悉的AWS S3

16. 关于Bucket
Bucket名全球唯⼀一
可以建⽴立Huge Bucket

17. 关于⽂文件检索与统计
使⽤用数据库存储⽂文件Meta信息供检索

18. 关于存储成本
冷数据 使⽤用AWS Glacier存储

19. 代理理S3服务
在S3能⼒力力之上 封装公司通⽤用逻辑

20. Q&A