My understanding about cinder snapshot and backup

1. BC-EC 马琪
felix23ma@gmail.com
2015.10

2. Agenda
❖ Cinder架构
❖ Snapshot和backup
❖ Cinder中的snapshot和backup
❖ Code

3. Cinder 架构
❖ Block service（移动硬盘）
❖ Block driver
❖ LVM
❖ CEPH
❖ EBS
❖ API
volume/backup/snapshot API
Q3: Snapshot和backup有啥区别？

4. Snapshot和Backup
❖ 字面含义是相似的 - 对用户来说都是备份
❖ 从driver理解（只研究了lvm/ceph）
❖ 只有snapshot命令，没有backup命令
❖ LVM：lvcreate --snap -n my_snap --size 1G /dev/vg/orig_lv
❖ Ceph：rbd snap create my_pool/my_image@my_snap
❖ snapshot原理 - 很多driver使用COW方式
❖ backup怎么做（full backup）
❖ LVM (cinder create volume from snap)
1. create snap 2. create new_lv
3. dd if=/dev/snap of=/dev/new_lv
❖ Ceph
1. create snap 2. protect snap
3. clone snap to new image 4. flatten new image

5. Cinder中的Snapshot和Backup
❖ 特点
❖ 用法
❖ snapshot：临时备份、做实验性/破坏性操作之前
❖ backup： 永久备份、定期备份
速度 占用空间 可靠性 用途
snapshot 快 小 不可靠
创建新卷;
不可用于恢复
backup 慢 大（需对象存储） 可靠
不可创建新卷；
可用于恢复

6. Cinder Snapshot的实现
❖ Driver实现（snapshot create）
❖ LVM：构造命令：lvcreate --name lv_snap_name --snapshot -L source_lv_name
❖ Ceph：调用Ceph Python library rbd.py中的create_snap/protect_snap方法
❖ Code
❖ LVM
cinder/volume/drivers/lvm.py create_snapshot
cinder/brick/local_dev/lvm.py create_lv_snapshot
❖ Ceph
cinder/volume/drivers/rbd.py create_snapshot
/usr/lib/python2.7/dist-packages/rbd.py create_snap/protect_snap
戳这儿：灏哥的代码分析

7. Cinder Backup的实现
流程：
1. cinder/api/contrib/backup.py的create -> self.backup_api.create
2. cinder/backup/api.py的create -> cinder/backup/rpcapi.py的create_backup，发送rpc请求
到rabbitmq server
3. cinder/backup/manager.py中的create_backup方法处理rpc请求
略去细节，第3步最终的处理方法是：
backup_service = self.service.get_backup_driver(context)
self._get_driver(backend).backup_volume(context, backup,
backup_service)
Note：
❖ backup_service表示cinder-backup的对象存储的后端，如Ceph，Swift
❖ backup_volume不是由cinder-backup定义，而是定义在cinder/volume/drivers/xxx.py中
❖ 实际上是source和destination的关系：
❖ source：调用cinder-volume block driver的backup_volume方法读取block data，
如：cinder/volume/drivers/lvm.py backup_volume
❖ destination：调用cinder-backup对象存储的driver的backup方法保存block data，
如：cinder/backup/drivers/ceph.py backup

8. Cinder Incremental Backup
BP：https://blueprints.launchpad.net/cinder/+spec/incremental-backup
Spec：https://github.com/openstack/cinder-specs/blob/master/specs/kilo/incremental-backup.rst
❖ 完全依赖于cinder-backup对象存储driver的实现
❖ Ceph
❖ source volume为RBD，做增量备份（不考虑--incr参数）；失败，做full backup
❖ 类似使用rbd export-diff/import-diff --from-snap （说明）
❖ source volume为非RBD，做full backup（不考虑--incr参数）
❖ Swift
调用cinder/backup/chunkeddriver.py中的backup

9. Cinder Incremental Backup (cont’d)
全量备份一般过程（切片、计算、上传）：
1. 对volume data切分，每次读入chunk_size_bytes大小的数据；
2. 对读入的数据，每sha_block_size字节的数据做SHA计算，保存计算结果；
3. 将chunk_size_bytes的数据上传到对象存储上，形成一个对象；
4. 依次循环，至所有数据备份完毕
对象存储上的文件：
❖ volume data对象
❖ metadata：记录backup_name，volume_id，volume_meta等
❖ sh256file：按照顺序记录了SHA计算的结果
增量备份一般过程：
1. 获得上次备份的sh256file
2. 对volume data切分，每次读入chunk_size_bytes大小的数据；
3. 对读入的数据，每sha_block_size字节的数据做一次SHA计算，和上次备份的结果进
行比较；
4. 如果相同，则只保存SHA计算结果不上传数据，否则保存计算结果并上传数据

10. Thank you.