1. 数据库通用设计思路浅析
Alexyang
无线产品部开发组
20080804

2. 提纲
体系结构
系统实现的关键技术

3. 体系结构

4. 服务器核心系统总体结构
客户客户 客户客户 客户客户
TCP/IP 网络TCP/IP 网络
连接监听线程连接监听线程
总控线程总控线程 检查点线程检查点线程
工作线程工作线程
工作线程工作线程
工作线程工作线程
任务队列任务队列
系统 / 日志缓冲系统 / 日志缓冲
读 / 写线程读 / 写线程 日志线程日志线程
DBDB
会话线程会话线程

5. 线索主要有
 控制台线索
 工作线索
 I/O 线索
 会话线索
 连接监听线索
 日志线索
 检查点线索
 备份线索

6. 工作线程工作流程
从任务队列中取得任务
是否为通
讯请求
是
通讯请求的处理 SQL 语句任务的处理
否

7. 会话线程
处于死循环中，保持接收客户请求，放入
系统任务队列，由工作线索取出执行。

8. 连接监听线索
创建结构地址和 socket ，进行两者的绑定
，开始监听。不断检查是否有客户端的连
接请求，若有则将它放入客户端队列，继
续检查是否有新的客户端来的请求。

9. 控制台线索
当数据库用 console 启动时，有些数据库是
支持在该 console 下输入命令以得到相关信
息，比如锁信息等等。

10. 日志线索
进行日志的刷盘操作。

11. 系统实现的关键技术

12. 服务器主要模块
 通讯子系统
 语言分析器
 查询优化器
 解释执行器
 系统缓冲区管理子系统
 并发控制 / 封锁子系统
 事务管理子系统
 日志管理模块
 备份和恢复模块
 物理存储模块

13. 语法 / 词法分析
负责解析 SQL 命令和过程性语句块
过滤注释 , 解析参数
使用成熟的工具（如 YACC/LEX ）生成
灵活的语法规则定义
便于语法的扩展与修改
生成统一格式的语法树

14. 举例
from_tv_list :
from_tv
{
$$ = (par_from_tv_list_t *)new_node(PAR_FROM_TV_LIST,1);
$$->un_1.from_tv_list_1.from_tv = $1;
}
| from_tv ',' from_tv_list
{
$$ = (par_from_tv_list_t *)new_node(PAR_FROM_TV_LIST,2);
$$->un_1.from_tv_list_2.from_tv_list = $3;
$$->un_1.from_tv_list_2.from_tv = $1;
};

15. struct par_from_tv_list_struct
{
ulint par_type; // 值为 PAR_FROM_TV_LIST ： 1134
ulint par_tag; //1 ：规则 1 ； 2 ：规则 2
ulint par_lineno;
union
{
struct
{
par_from_tv_t *from_tv; //$1
}from_tv_list_1; // 规则 1
struct
{
par_from_tv_t* from_tv; //$1
par_from_tv_list_t* from_tv_list; //$3
}from_tv_list_2; // 规则 2
}un_1;
};

16. 对应的语法结构
Select * from t1, t2, t3;
par_from_tv_list_str
uct 结构
par_from_tv_list_t*
from_tv_list;
par_from_tv_t*
from_tv
par_from_tv_list_str
uct 结构
par_from_tv_list_t*
from_tv_list;
par_from_tv_t*
from_tv
par_from_tv_list_str
uct 结构
par_from_tv_t*
from_tv
par_from_tv_struct
结构
T1
par_from_tv_struct
结构
T2
par_from_tv_struct
结构
T3
规
则
2 规
则
1

17. 语义分析
数据库对象名字解析
合法性检查
内部 ID 的转换
权限检查
语法树数据结构的简化与预处理
DDL 语句分解为对系统表的 DML
视图对象的替换等

18. 代价优化器
 接受语义分析的输入
 统计信息的分析
 数据分布
 统计直方图
 代价的计算
 基于统计信息
 操作符号的选择
 基于成本的最优执行路径选择
 生成优化的执行计划

19. 基于操作符的执行计划
物理操作符
功能简单专一 , 完成特定的数据库操作
如 : 连接 , 过滤 , 排序等
执行计划
操作符的组合 , 构成树型的执行计划
执行时 , 数据从叶子向根流动
在根汇集成结果集 , 或者得到结果状态
计划被自动缓存 , 以备重用

20. 执行计划 1

21. 执行计划 2

22. 系统缓冲区管理子系统
内存池：使用伙伴系统管理内存。
内存堆：多次申请一次释放，提升了内存
使用效率，同时也很好地解决了内存泄漏
的问题。
数据缓冲区：采用 LRU 提高命中率，提升
I/O 性能。
日志缓冲区：集中写入，提升性能。

23. 事务和线程的分离
事务对应于用户连接 / 会话 (SESSION)
每个连接，有一个活动的事务
工作线程是共享资源
一组工作线程，协同工作，为所有的事务
服务
数据库对象的封锁失败，导致事务暂停，
却不会阻塞工作线程
提高 CPU 的利用率

24. 事务和线程的分离
事务对应于用户连接 / 会话 (SESSION)
每个连接，有一个活动的事务
工作线程是共享资源
一组工作线程，协同工作，为所有的事务
服务
数据库对象的封锁失败，导致事务暂停，
却不会阻塞工作线程
提高 CPU 的利用率

25. 数据库锁和线程锁
数据库锁
针对数据库对象
用户可干预
锁定失败 , 导致事务暂停或事务回滚
线程锁
针对核心系统资源
锁定失败 , 导致线程被挂起
用户不能干预
设计时 , 采用严格的规则 , 防止出现死锁

26. 回滚段
 记录每一个数据库操作的逻辑动作
 插入 / 删除 / 更新
 在对聚集索引更新时 , 生成回滚记录
 每个事务对应一个回滚段
 事务回滚时 , 扫描回滚段 , 做插入 / 删除 / 更新的
反动作
 回滚记录也是数据复制的基础

27. 重做 (REDO) 日志
 日志数据的构成：物理页的修改信息
 日志中不记录逻辑上的数据库操作，如 : 插入，删除等
 逻辑上的数据库操作，被记录在回滚段上
 恢复时，以完整的物理事务为单位
 最后一个不完整的物理事务被丢弃
 日志对回滚段和普通的数据文件同样处理
 物理恢复完成后，按照回滚段上的逻辑操作，对
未提交的事务做相应的反动作，以取消这个事务

28. 分层设计 / 优化
隔离 CPU 的特性
高地址高位 (INTEL)
低地址高位 (SPARC)
隔离 OS 特性
文件系统
线程
同步原语
充分利用 LINUX 2.6 核心

29. 问题 ?

30. 谢谢 !