A presentation in Apache Pegasus meetup in 2021 from Fateng Xiao. Apache Pegasus is a horizontally scalable, strongly consistent and high-performance key-value store. Know more about Pegasus https://pegasus.apache.org, https://github.com/apache/incubator-pegasus

1. Pegasus在小米数据接入上的实践
肖发腾
肖发腾 2021-09-25

2. 大家认为什么样的产品是一款好产品？
肖发腾

3. Pegasus Or Hbase
#2
小米数据接入
遇到的挑战
#1
Pegasus在小米
数据接入上的实践
#3

4. #1 小米数据接入遇到的挑战

5. 全球销量第二的手机，产生的海量数据怎么高效、合规存储到数仓？
小米数据接入遇到的挑战

6. 小米数据接入遇到的挑战
ODS层
Hive
消息队列
（Talos）
维表
实时查询
离线查询
数千亿
数十亿
数千亿
DW层
Hive
Doris
实时查询
离线写入
实时写入

7. #2 Pegasus Or Hbase

8. 我的Pegasus初感受
Pegasus Or Hbase

9. 大家第一次使用Hbase时遇到了哪些问题？
Pegasus Or Hbase

10. Pegasus Or Hbase
分布式数据库分区设计方法
1. 基于关键字区间分区
2. 基于关键字Hash值分区
3. 组合键：第一部分用于hash分区，第二部分可用于区间查询
组合键，使Pegasus使用起来很方便

11. Pegasus Or Hbase
Pegasus的分区设计举例

12. Pegasus Or Hbase
宕机恢复
Hbase：HBase要求每个Region在同一时刻只能由一个RegionServer服务。当某个
RegionServer宕机，必须选一个新的RegionServer来服务该Region。
Pegasus：高可用
高可用，使Pegasus维护成本很低

13. Pegasus Or Hbase
性能
1. C++
2. 单机存储引擎：RocksDB
3. Backup request
高性能，使Pegasus能真正解决业务问题

14. #3 Pegasus在小米数据接入上的实践

15. Pegasus在小米数据接入上的实践
ODS层
Hive
消息队列
（Talos）
维表
实时查询
离线查询
数千亿
数十亿
数千亿
DW层
Hive
Doris
实时查询
离线写入
实时写入
查询重点要解决的问题是什么？

16. Pegasus在小米数据接入上的实践
设备信
息表
维表
实时查询
离线查询
数亿
数十亿
映射后
设备信
息表
离线写入
原始日
志表
映射后
日志表
离线
JOIN
数亿
数千亿
数千亿
离线查询优化

17. Pegasus在小米数据接入上的实践
离线查询优化
client = PegasusClientFactory.createClient("pegasus集群信息配置文件")
client.batchGet("table_name", requestList, resultList)
batchGet函数，并发地向server发送异步请求，并等待结果
requestList中是一些设备id，哪个能查到oneid都可以。
如果有任意一个请求失败，就提前终止并抛出异常。
如果抛出了异常，则values中的结果是null

18. Pegasus在小米数据接入上的实践
实时查询优化：缓存
OneID实时查询
日查询上千亿，业务数百个，
单业务最高数百亿，
映射关系表记录数十亿，
存储 数百G，QPS 数百万
缓存：日活设备 数亿，存储 数十G
缓存：每个节点（executor） 缓存百万
条，数百M
第1层
第2层
第3层
Pegasus QPS：数十万

19. Pegasus在小米数据接入上的实践
实时查询优化：异步

20. Pegasus在小米数据接入上的实践
实时查询优化：异步
// 初始化Table
pegasusTable =
if(Nullable.isNull(pegasusTable))
pegasusClient.openAsyncTable("table_name")/
else
pegasusTable
// 去Pegasus中查询数据
val queryFuture: Future[PegasusResult] = pegasusTable.get[String, String](pegasusKey._1,
pegasusKey._2, Duration(1000, "millisecond"))

21. Pegasus在小米数据接入上的实践
性能表现

22. 团队介绍
• leader：钟云
• 组员：徐威、李坤燚、彭程、肖发腾
诚邀大数据工程师加入我们的团队，欢迎发简历到
zhongyun@xiaomi.com

23. QA