闪存数据库日志技术
Upcoming SlideShare
Loading in...5
×
 

闪存数据库日志技术

on

  • 780 views

 

Statistics

Views

Total Views
780
Views on SlideShare
780
Embed Views
0

Actions

Likes
1
Downloads
3
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

闪存数据库日志技术 闪存数据库日志技术 Presentation Transcript

  • 闪存数据库日志技术
    2011-04-22
  • 大纲
    闪存的基本结构及特性
    研究动机及相关工作
    基于地址的日志技术——HV-Logging
    基于链表的日志技术——LB-Logging
    总结
  • 闪存的优越性及广泛应用
    能量消耗小
    小巧轻便
    闪存
    读写速度快
    高抗震性
    非易失性
    无机械延迟
  • 闪存的基本结构
    • 闪存芯片组成
    • 1 芯片 = 若干块
    • 1 块 = 64 页
    • 闪存特性
    • 读写速度不一致
    • 重写之前先擦除
    • 没有机械延迟
    • 有限擦除次数
    2K Bytes
    64 Bytes
    页寄存器
  • 闪存特性
    5
    • 闪存的随机访问与连续访问的速度差异
  • 闪存特性
    • 闪存中的读写速度不对称
    6
  • 闪存特性
    • 在闪存中,重写之前必须先擦除
    7
    • 闪存中常采取异地更新的方式来避免频繁的擦除操作
    Disk
    Flash
    异地更新
  • 大纲
    闪存的基本结构及特性
    研究动机及相关工作
    基于地址的日志技术——HV-Logging
    基于链表的日志技术——LB-Logging
    总结
  • 闪存数据库面临的挑战
    数据文件
    日志文件
    闪存
    磁盘
    索引文件
    元数据文件
    闪存数据库
    传统数据库
  • 研究动机
    • 将Undo日志直接应用在闪存数据库中存在的问题
    Undo日志
    A.v1
    HV-recovery:A High Efficient Recovery Technique for Flash-based Database
  • 研究动机
    • 将Undo日志直接应用在闪存数据库中存在的问题
    Undo日志
    A.v1
    A.v2
    HV-recovery:A High Efficient Recovery Technique for Flash-based Database
  • 研究动机
    • 将Undo日志直接应用在闪存数据库中存在的问题
    Undo日志
    A.v1
    A.v2
    A.v1
    HV-recovery:A High Efficient Recovery Technique for Flash-based Database
  • 相关工作—IPL
    in-memory
    data page
    (8KB)
    数据库缓冲区
    in-memory
    log sector (512B)
    Erase unit (Block): 128KB
    闪存
    15 data pages
    (8KB each)
    ……
    log area (8KB):
    16 sectors
    ……
    ….
    ….
    ….
    S. W. Lee, and B. Moon. Design of Flash-Based DBMS: An In-Page Logging Approach. SIGMOD 2007
  • 相关工作—FlashLogging
    ……
    Worker
    Worker
    Worker
    Request queue
    日志缓冲区
    LSN:Log Sequence Number
    Shimin Chen. FlashLogging: Exploiting Flash Devices for Synchronous Logging Performance. SIGMOD'09.
  • 闪存数据库中日志设计思路
    • 读速度比写速度快
    • 考虑用较多的读操作来减少写操作
    读写速度不一致
    将日志文件由顺序结构转变成链表结构
    • 随机和连续访问速度相似
    • 可以用随机读来代替连续读
    无机械延迟
    对数据的历史版本地址记日志
    • 闪存要求重写之前擦除
    • 利用天然存在的历史版本的数据
    异地更新
    • 闪存寿命有限,不可无限制的擦除
    • 尽量减少写操作,间接减少擦除
    擦除次数有限
  • 大纲
    闪存的基本结构及特性
    研究动机及相关工作
    基于地址的日志技术——HV-Logging
    基于链表的日志技术——LB-Logging
    总结
  • HV-Logging的主要思想
    日志文件记录版本地址信息而取代值信息
    • 随着事务不断地对数据库进行操作,日志管理器按顺序不断加入新的日志记录;
    • 如果一个事务的提交日志写入日志文件中,则会对该事务的所有旧版本数据标识为垃圾数据,等待FTL层的回收;
    • 恢复时,恢复管理器从日志文件的尾部向头部扫描,并且逐一按照数据历史版本的地址进行恢复
    HV-recovery:A High Efficient Recovery Technique for Flash-based Database
  • 闪存擦除次数
    有限
    日志量大
    事务回滚率低
    日志快速失效
    日志文件的存储
    日志文件本身并不适合于使用闪存存储
    大量的擦除操作
    降低了闪存的使用寿命
  • 日志文件
    存在磁盘上
    以延长闪存寿命
    数据文件
    存在闪存上
    以利用闪存的高速
    读取特性
    日志文件的存储
    从整体上提高数据库性能!
  • 实验及结果分析
    • TPCC上的模拟实验
    • 利用TPCC标准规定的操作验证,HV-Logging可以减少一定数量的写操作,从而间接减少擦除操作,延长闪存使用寿命
    • Berkeley DB上的真实实验
    • 将HV-Logging实现在Berkeley DB中,与传统数据库的Undo Log进行恢复时间的比较,验证HV-Logging可以大大缩短恢复时间
    HV-recovery:A High Efficient Recovery Technique for Flash-based Database
  • 实验结果-TPCC
    3000次
    HV-recovery:A High Efficient Recovery Technique for Flash-based Database
  • 实验结果-TPCC
    33000次
    HV-recovery:A High Efficient Recovery Technique for Flash-based Database
  • 实验结果-BDB
    2~3倍
    HV-recovery:A High Efficient Recovery Technique for Flash-based Database
  • 实验结果-BDB
    8倍
    HV-recovery:A High Efficient Recovery Technique for Flash-based Database
  • 大纲
    闪存的基本结构及特性
    研究动机及相关工作
    基于地址的日志技术——HV-Logging
    基于链表的日志技术——LB-Logging
    总结
  • LB-Logging的主要思想
    将日志文件由顺序结构转变成链表结构
    • 随着事务不断地对数据库进行操作,日志管理器将日志以链表的形式存放在内存中;
    • 如果一个事务提交,则该事务的日志将一次性的全部写出到闪存中
    • 恢复时,恢复管理器从日志文件的链表结构中,准确找到该事务的所有日志,并逐一进行重做(redo)
    HV-recovery:A High Efficient Recovery Technique for Flash-based Database
  • LB-Logging的主要思想
    将日志文件由顺序结构转变成链表结构
    • 随着事务不断地对数据库进行操作,日志管理器将日志以链表的形式存放在内存中;
    • 如果一个事务提交,则该事务的日志将一次性的全部写出到闪存中
    • 恢复时,恢复管理器从日志文件的链表结构中,准确找到该事务的所有日志,并逐一进行重做(redo)
    HV-recovery:A High Efficient Recovery Technique for Flash-based Database
  • LB-Logging的检查点合并算法
    得到日志文件中第一条日志记录
    复制到已申请好的干净的空闲空间中
    得到下一条日志记录
    如果申请的新日志块已写满,就再申请一块
    日志记录扫描完毕,退出循环
    擦除旧的日志记录
  • 实验设计
    实验平台:(SSD/HDD)+Berkeley DB
    对比试验:ARIES、HV-Logging、LB-Logging
    测试指标:恢复时间
    测试因子:单个事务更新次数
    单个数据更新次数
  • 实验结果-事务更新数(1)
  • 实验结果-事务更新数(2)
  • 实验结果-数据更新次数
  • 大纲
    闪存的基本结构及特性
    研究动机及相关工作
    基于地址的日志技术——HV-Logging
    基于链表的日志技术——LB-Logging
    总结
  • 总结
    我们分析了闪存数据库中日志设计的问题,提出了一些新的解决方案。
    一种是对闪存中天然存在的数据的历史版本来进行管理和利用的日志及恢复方法HV-Logging,来改进undo日志的性能,提高恢复效率。
    一种是使用链表结构取代原有的顺序结构进行日志记录的LB-Logging,来改进redo日志的性能,进一步的提高恢复效率。
    通过和开源数据库Oracle Berkeley DB的比较,实验结果表明我们的设计都比原来的方法有更高的恢复效率,充分说明了其优越性。
  • Thank you!