Cephalocon APAC 2018 March 22-23, 2018 - Beijing, China ShanChun, Tencent Development Engineer

1. 基于Ceph对象存储的混合云
腾讯云 吕珊春
2018-03-22

2. 背景介绍
发展现状
核心机制
后续工作

3. Ceph与云计算

4. 对象存储与混合云
远距离数据访问如何支持？
跨地域直接访问 自建数据中心
延迟太高！ 成本太高！
混合云
综合成本及快捷性

5. 背景介绍
发展现状
核心机制
后续工作

6. Cloud sync in Mimic
l 混合云的好处
ü 对ceph生态的良好补充
ü 借助公有云的成本及容量优势
ü 更加灵活的资源和服务编排
l 发展历史
M
ul
ti
P
a
rt
支
持
、
流
式
处
理
等
落
地
应
用
及
反
馈

7. 背景介绍
发展现状
核心机制
后续工作

8. 核心机制
Async
Framework
Sync plugin
Data
sync
Multipart
upload
Json config
Stream
process
Multi-Site Cloud Sync

9. Multisite
• Zone：存在于一个独立的Ceph集群，由一组rgw提供服务，对应一组后台的pool
• Zonegroup：包含至少一个Zone，Zone之间同步数据和元数据
• Realm:一个独立的命名空间，包含至少一个Zonegroup，Zonegroup之间同步元数据

10. Data Sync
Init
• read remote datalog shard info
• write sync status in local zone(datalog.sync-status.shard*.X)
BuildFull
SyncMap
• list bucket instance
• Write sync status in local zone(bucket.sync-status.*{bucket-shard-id})
DataSync
• full sync(fetch remote datalog and write sync_marker locally)
• incremental sync(fetch remote with sync_marker)

11. Data Sync(inc sync)
Bucket1
bs1
data_log.X
bi_log.Y
bs2
• 涉及到index pool 及 datalog pool ，每个bucket shard有一个
datalog及bilog与之对应
• 本地Zone会记录Source zone每个datalog 分片对应的
sync_marker
• 与远程datalog的max_marker比对，若仍有数据未同步，则消费
datalog entry
• datalog entry中记录了对应的bucket shard，消费bucket shard
对应的bilog则可进行数据同步

12. Data sync(example)

13. Async framework
l boost::asio::coroutine
l stackless coroutine
l RGWCoroutine
l RGWConsumerCR(yield)
l Concurrent Coroutine(spawn)

14. Sync plugin
RGW LOG
ElasticSearch AWS
Sync
Module

15. Streaming process
large object?
Streaming process
Source Zone aws sync
module
Cloud Zone
Cloud
mem
http
http
1. fetch remote object 2. put a object
3. put result
Source Zone aws sync
module
Cloud Zone
Cloud
put result
pipe CRinput connection output connection
pipe CR: keep 2 connection, get and put are parallel

16. Multipart upload

17. Json config

18. 背景介绍
发展现状
核心机制
后续工作

19. Future Work
• 同步状态优化，错误信息汇报至MON
• 数据的反向同步
• 支持更多的公有云平台
• 利用RGW支持不同云平台之间的数据同步

20. Thank You！
Author: 吕珊春
Email：lvshanchun@gmail.com
Github: Leeshine
Team Blog：http://www.sealblog.com