A presentation in Apache Pegasus meetup in 2022 from Jiaoming Shi. Apache Pegasus is a horizontally scalable, strongly consistent and high-performance key-value store. Know more about Pegasus https://pegasus.apache.org, https://github.com/apache/incubator-pegasus

1. Apache Pegasus 在神策⼴告云数据流中的应⽤
史佼明
2
0
2
2
-
1
1

2. ⽬ 录
CONTENTS
神策⼴告业务
1
⼴告数据流架构介绍
2
引⼊ Pegasus
3
Pegasus 新挑战
4
我们做什么？提供什么价值？
解决⽅案是什么？解决的问题是什么？设计⽅案是什么？
设计过程中遇到的问题是什么？Pegasus 在架构中提供的能⼒是什么？
在秒级预警、实时分析、SaaS化后对 Pegasus 的挑战

3. 神策⼴告业务
part
1
- 做什么？有什么价值？

4. 作为效果⼴告三⽅监测归因⼯具，帮助客⼾打通公私域数据，进⾏全域深链路分析

5. ⼀站式拉通媒体渠道数据，降低对接成本，提⾼效率

6. ⼀键授权拉取公私域明细数据，省去繁琐的数据拼接与函数计算

7. ⾃定义全局概览，核⼼指标T+
0
分时查看

8. 神策⼴告数据流架构
part
2
- ⼴告数据流，为⼴告⽽⽣

9. 神策⼴告在整个⼴告系统中的位置

10. ⼀条数据的经历
看⼴告
点了
头条
⾏为采集系统
监测回传系统
⼴告
Nginx
请求 log
Edge
⽇志解析
Kafka
数据接收流组
件
数据初始化
加⼯处理
Pegasus
王者
激活
Nginx
数据订阅流组
件
曝点击⾏为
激活及后链路事件
SDK
归因 深度回传 ...
plugins
归因维度维护
HDFS
原始 log
数据流 ADS DIM
DW
event
user
激活
订阅
拉取
曝点击
头条后台系统
模型优化
神策数仓集群
神策⼴告集群
接收流 订阅流
SDK
发送点击事件

11. 数据流及归因处理逻辑

12. ⽆界实时数据
需要持续处理曝光、点击和激活⾏为数据
实时归因和深度回传，为客⼾投放优化提供数据⽀撑
跨多个组件（进程）
曝光、点击处理
激活及转化事件处理
深度回传
数据量⼤
曝光、点击
内存不能成为存储瓶颈
实时归因+回传
强⼀致性
对同⼀个 Key 的变更，要保证所有组件拿到的结果是⼀致的
强⼀致
⼤数据
实时
⽆界
曝光、点击、归因、回传

13. 引⼊ Pegasus
part
3
解决了什么问题？

14. Pegasus
性能满⾜ 存储满⾜ 强⼀致性满⾜
稳定性满⾜
HBase
性能满⾜
存储满⾜
强⼀致性满⾜
神策环境下的稳定性不满⾜（⼤量操作ZK）
不可⽤和 region 恢复时⻓不满⾜业务需求
Redis
性能满⾜
存储不满⾜
强⼀致性不满⾜
稳定性基本满⾜，但在神策环境下不满⾜
外部存储选型

15. ⼆级 sortedKey ttl 查询 hang 住
value 设计
模糊归因场景
归因部分使⽤ Pegasus，不使⽤ Redis，
Pegasus ⽀持⼆级 sortedKey ttl 的特性，这
个 Redis ⽀持不了
hashKey = ip
sortedKey = eventTime
value = channel info
根据 ip scan 对近期相同 ip 的点击进⾏相
似度计算
通过 protobuf 序列化
对枚举类型的字符串值，做形式化定
义，转成int
单个hashKey下的数据体积过⼤，导致查询
卡住
query time 做 limit（maxFetchCount）
每次写⼊后异步被动清理
* micro-batch
业务上的考量

16. 亿级流量下 Pegasus 的表现

17. 基础⼯具集
秒级监控：客⼾能够实时监控⼀些核⼼指标的波动情况，并通
过邮件、短信、公众号、机器⼈电话等⽅式推送给客⼾。（原
⼦操作）
数据⽣命周期可视化：⼀个⽤⼾从曝光-点击-激活-归因-回传等
整个流程可视化
...
插件化
数据流是管道是基础设施，在数据流之上除了归因、深度回传
之外还可以提供很多能⼒。插件化后，RD 同学可以按照插件协
议开发⾃⼰的 Application ，实现⾃⼰的业务功能。
SaaS
数据流 SaaS 化后，客⼾⽆需部署，简单配置后就可以快速采
集曝点击数据。⽽数据流 SaaS 只是第⼀步，未来 Marketing
API 和 SAT 都会 SaaS 化。
⼴告数据流下⼀步做什么
夯实
基础
扩展
友好
快速
交付

18. 4
0
0
-
6
5
0
-
9
8
2
7
www.sensorsdata.cn
Thanks

19. 关注公众号 联系我们