A presentation in Apache Pegasus meetup in 2022 from Hao Wang. Apache Pegasus is a horizontally scalable, strongly consistent and high-performance key-value store. Know more about Pegasus https://pegasus.apache.org, https://github.com/apache/incubator-pegasus

1. 如何在复杂 toB 场景下对
Pegasus 进行持续改进
2022.11
王浩

2. • Who are we
• Pegasus 在神策支持的业务场景
• Pegasus 在神策是如何进行工程化管理的
• 神策近期在 Pegasus 社区的建设

3. • Who are we
神策数据（Sensors Data）是国内专业的大数据分析和营销科技服务提供商，为企业提供
神策营销云、神策分析云、神策数据根基平台三大产品方案，通过全渠道的数据采集与全域
用户 ID 打通，全场景多维度数据分析，全通道的精准用户触达，帮助企业实现数字化经营。
大数据分析和营销科技服务提供商

7. Pegasus 在神策的迁移框架
• 背景
• to B背景，属于较频繁操作
• 在线业务也开始有迁移需求
• 框架演变

8. table_3
table_2
基于copy_data的普通迁移
table_1
1. pre_check
2. copy_data
3. post_check
table_3
table_2
table_1

9. 文件迁移
1.0 rep 1.1 rep 1.2 rep 1.3 rep
2.0 rep 2.1 rep 2.2 rep 2.3 rep
backup restore

10. nfs迁移(理想方案)
• 思路:
• 迁移的本质是在新环境中添加副本，能否通过老集群内部命令实现迁移
• 实现
1. 可以先在环境中增加一组replica_server, 然后通过add_secondary的方式补
在新节点上(可以通过Pegasus shell命令完成)
2. 切断老环境
3. 新环境进行元数据重做，实现数据迁移的目的

11. Pegasus + Ranger 的鉴权策略

12. Pegasus + Ranger 的鉴权策略
• Pegasus ACL现状
• 可以优化的地方
• 可以制定更多级别的资源分层
• 可以制定更细粒度的ACL
• 各个资源之间的ACL应该是严格分开的

13. Pegasus + Ranger 的鉴权策略
• 与Ranger集成

14. Pegasus + Ranger 的鉴权策略

15. Pegasus + Ranger 的鉴权策略

16. Pegasus + Ranger 的鉴权策略

17. Pegasus + Ranger 的加密策略
• Apache Ranger 支持的策略

18. Pegasus + Ranger 的鉴权策略
• Pegasus 集成到 Ranger
• https://issues.apache.org/jira/browse/RANGER-3831
• https://issues.apache.org/jira/secure/attachment/13048029/13048029_ranger-servicedef-pegasus.json

19. Pegasus + Ranger 的鉴权策略
• Pegasus 集成到 Ranger

20. Pegasus容器化适配
第一阶段
纯容器
现在
第二阶段
容器+k8s
容器化 云原生化
• 无任何隔离
• 网络，文件系统
飞线较多
• 服务治理不完善
• 进程空间隔离
• 文件系统隔离，消除
命令文件配置飞线
• 网络软隔离，消除服
务访问飞线
• 目前计算资源无隔离
• 网络硬隔离(动态端口)
• 计算资源隔离
• 完善的资源编排
• 完善的服务管理

22. 新指标框架
当前指标采集存在的问题
• 指标命名冗长
• 指标类型概念并不严格界定
• 过时的指标内存空间没有释放
• 底层实现可以使用更高效的接口
可以进行的相关改进
• 简化指标命名
• 梳理当前的所有的指标，重新定义指标类型
• 过时的指标定期清理
• 底层实现可以使用更高效的接口

23. 新指标采集框架
• Gauge类型
• Counter类型
• Percentile类型

24. 新指标采集框架
• Counter和Percentile两种指标类型进行性能优化后的对比

25. thanks