文档讨论了bigtable的核心概念，包括数据模型、客户端API、底层数据结构和实现原理。主要内容涵盖了bigtable的性能改进策略及其与hbase等其他系统的比较。文献还提供了性能测试结果和设计结论，指出了bigtable的优势和潜在的应用场景。

1. BigTable学习分享
李楠

2. 论文的主要内容
 摘要
 简介
 数据模型
 客户端API
 BigTable的底层数据结构
 实现原理
 改进策略
 性能试验
 设计结论
 bigTable的支持
 相关工作
 结论

3. 本次重点讲的几个部分
 数据模型
 底层数据结构
 实现原理
 改进策略

4. 摘要

5. 简介

6. 数据模型
 BigTable的数据模型
 一个例子
 Row
 Column Family
 Timestamps

7. 数据模型

8. 例子

9. 例子

10. Row

11. Column Family

12. TimeStamps

13. 客户端API(read的例子)
 Scanner scanner(T);
 Scanner * stream;
 stream = scanner.FetchColumnFamily("anchor");
 stream->SetReturnAllVersions();
 scanner.Lookup("com.cnn.www");
 for(; !stream->Done(); stream->next()){
 printf("%s %s %lld %sn",
 scanner.RowName(),
 stream->ColumnName(),
 stream->MicorTimestamp(),
 stream->Value()
 );
 }

14. 客户端API（write的例子）
 //Open the table
 Table * T =
OpenOrDie("/bigtable/web/webtable");
 //Write a new anchor and delete an old
anchor
 RowMutation r1(T, "com.cnn.www");
 r1.Set("anchor:www.c-span.org", "CNN");
 r1.Delete("anchor:www.abc.com");
 Operation op;
 Apply(&op, &r1);

15. 底层数据结构
 上层用MapReduce进行计算
 下层用GFS分布式文件系统存储日志和
文件
 通常和其他分布式程序部署在同一套集
群环境中
 用SSTable文件格式来存储Bigtable数
据
 依赖于高可用的分布式锁服务Chubby

16. 用SSTable文件格式来存储
Bigtable数据

17. 依赖于高可用的分布式锁服务
Chubby

18. 来看一个Hbase的大的框架

19. Hbase上的map reduce

20. Hbase的详细架构图

21. 对比定义
 MapReduce => Hadoop
 GFS => HDFS
 BigTable => Hbase
 Chubby => ZooKeeper
 SSTable => Hfile
 Row ColumnFamily Timestamp的概念一
样

22. 实现原理
 系统的三个部分
 Master的功能
 Tablet server的功能
 Client与big table的交互问题
 Tablet location
 Tablet assignment
 Tablet serving
 compactions

23. 系统的三个部分
 client library
 master server
 many tablet servers(可以动态增加)

24. master的功能
 assign tablets to table servers(负载均衡)
 detecting the addition and expiration of table
server
(table server的动态增减)
 balancing the tablet-server load
 garbage collection of files in GFS
(不知道具体指什么)
 handle schema changes such as table and column
faimily creations

25. tablet server的功能
 管理一系列tablet, 10~1000个
 handle read and write requst to
the tablets
 splits tablets that have grown too
large

26. client 与 Bitable的交互问题
 数据读写，并不经过master(定位是在
chubby做的)
 master更多承担维持Bigtable均衡负载
的角色
 master系统资源消耗一般都很少

27. tablet location

28. Tablet location
 用一个类似于B+树的三层结构，来存储tablet定位信息
 chubby file => root tablet => meta tablet => user tablet
 root tablet 不分裂，因此保持三层结构不会变成四层、五层、六层……
 metadata table 存储的也是key/value对
◦ key 是 一个tablet 的table 标石和talet的尾部标记
◦ value是tablet的位置信息
◦ 一个meta 行大概1kb内存数据
 128MB metadata tablets, is sufficient to address 2^34 tablets
 客户端会cache tablet location信息，但具体没看懂

29. 看一个Hbase的location
 Tablet =》Region
 Tablet Server => Region Server

30. tablet assignment

31. table serving

32. table serving

33. 对一下Hbase的log部分

34. compactions

35. Hbase的分裂和收缩

36. 改进策略

37. 其他
 BigTable网上有很多中文翻译，可以适
当的参见一下：
 http://zhiyuzhe.blog.163.com/blog/
static/1100540742010811105951381/

38. Q&A
 ?