FeatHub_GAIDC_2022.pptx
•Download as PPTX, PDF•
0 likes•8 views
本次演讲中，我们将介绍 FeatHub，一个由阿里云自研并开源的实时特征平台。我们将介绍 FeatHub 的架构设计，已经完成的工作，以及近期的发展计划。 我们为 FeatHub 设计了易于使用的 Python SDK，来方便用户开发，分享，以及部署特征工程作业到生产环境。FeatHub 目前支持使用 Flink 作为计算引擎来完成流批一体的特征计算，支持在 Kafka,文件系统等多种存储引擎中读取和存储特征。用户可以使用声明式的 API 来定义特征，无需担心特征穿越的问题，也无需使用相对复杂的底层计算引擎 API 来计算特征。我们希望通过提供这些功能，来提升特征工程作业的开发效率，并推动实时特征工程的应用发展。
Recommended
More Related Content
Similar to FeatHub_GAIDC_2022.pptx
Similar to FeatHub_GAIDC_2022.pptx (20)
FeatHub_GAIDC_2022.pptx
- 1. FeatHub: 流批一体的实时特征工程平台 林东 阿里巴巴高级技术专家 Apache Flink / Kafka PMC 2023年2月26日
- 2. 01 为什么需要 FeatHub 02 FeatHub 架构和核心概念 03 FeatHub API和内置优 化
- 5. Python vs. SQL Python的优势： - 适合熟悉Python的用户 - 对接基于Python的机器学习软件生态 (e.g. Pandas, PyTorch) - 表达能力强 (e.g. Python UDF，SQL DSL) - 高复杂度作业的代码可读性高 (e.g. for-loop, function) SQL的优势： - 适合熟悉数据库开发经验的用户 - 代码简洁 - 平台运维简单 (e.g. 不需要支持Python UDF)
- 6. 实时特征工程的痛点 开发难度高 部署难度高 监控难度高 分享难度高 特征穿越 需要手动翻译 性能压力大 特征分布变化 开发工作重复
- 7. Feature Store的核心场景 特征开发 特征部署 特征监控 特征分享
- 8. Feature Store的核心场景 特征开发 特征部署 特征监控 特征分享 Python SDK 执行引擎 特征储存 指标 报警 注册 搜索
- 9. Feature Store的核心场景 特征开发 特征部署 特征监控 特征分享 Python SDK 执行引擎 特征储存 指标 报警 注册 搜索 简单易用 point-in-time correct 语义 高吞吐 实时特征 离线储存 在线储存 数值分布变化 实时监控 简单易用
- 12. 架构
- 13. 架构 (续)
- 14. 核心概念 TableDecscriptor TableDecscriptor TableDecscriptor Transform Transform TableDecscriptor FeatureTable 保存在储存上的 物理特征表 FeatureView 从FeatureTable计算得到的 逻辑特征表 DerivedFeatureVi ew SlidingFeatureVie w OnDemandFeatureV iew Transform Expressio n Join OverWindo w SlidingWindo w PythonU DF
- 16. 特征计算功能 f_price = Feature( name="price", dtype=types.Float32, transform=JoinTransform( table_name="price_updates", feature_name="price" ), keys=["item_id"], ) f_total_payment_last_two_minutes = Feature( name="total_payment_last_two_minute s", dtype=types.Float32, transform=SlidingWindowTransform( expr="item_count * price", agg_func="SUM", window_size=timedelta(minutes=2), step_size=timedelta(minutes=1), group_by_keys=["user_id"] ) ) f_total_payment_last_two_minutes = Feature( name="total_payment_last_two_minute s", dtype=types.Float32, transform=OverWindowTransform( expr="item_count * price", agg_func="SUM", window_size=timedelta(minutes=2), group_by_keys=["user_id"] ) ) 特征拼接 Over窗口聚合 滑动窗口聚合 f_trip_time_duration = Feature( name="f_trip_time_duration", dtype=types.Int32, FeatHub性能优化 transform= "UNIX_TIMESTAMP(taxi_dropoff_datetime) - UNIX_TIMESTAMP(taxi_pickup_datetime)", ) 内置函数调用 f_lower_case_name = Feature( name="lower_case_name", dtype=types.String, transform=PythonUdfTransform(lambda row: row["name"].lower()), ) Python UDF调用
- 17. 内置优化 • 滑动窗口聚合的特征仅在特征数值变化时输出数据，减少CPU和网络使用 • 滑动窗口聚合的特征共用状态，减少CPU和内存使用 • E.g. 同时计算最近1分钟/5分钟/10分钟/30分钟内的用户点击数 • 支持使用迟到的数据来更新滑动窗口结果，最大化数据一致性
- 18. FeatHub未来工作 • 计算：完善三种Processor (i.e. Flink, Spark, Local) 的功能和性能 • 储存：支持更多常用的离线/在线储存 (e.g. HDFS, Redis) • 元数据：支持特征版本控制，特征血缘 • 监控：支持特征质量监控和报警 • 支持特征授权，鉴权，审计等企业级功能 • …
- 20. Thank You 谢 谢
Editor's Notes
- SDK简单易用：基于Python的SDK，可以插入Python/Java/C++ UDF, 贴近数据科学家的开发习惯 支持快速实验：数据科学家可以在单机运行实验，无需依赖远程分布式集群 支持快速部署：数据科学家无需改代码就能完成从实验到生产的切换 支持实时特征：支持基于Flink的原生实时特征计算，实现流批一体 处理引擎可扩展: 处理引擎框架能被扩展来支持Spark, 公司内部自研的引擎 etc. 开源且支持本地化部署：支持多云，不绑定任何云服务
- 开发难度高：需要较大的工作量来避免特征穿越问题 部署难度高：数据科学家需要工程师支持完成特征的高性能在线部署 监控难度高：需要较大的工作量来发现和解决特征质量问题 分享难度高：缺乏元数据中心来方便开发者注册/搜索/复用特征定义和特征数据
- 特征开发：提供简单易用的SDK来定义特征，避免特征穿越问题，提升开发效率 特征部署：将特征定义自动翻译成高性能分布式数据处理作业 (e.g. Flink, Spark)，减少额外的开发工作 特征监控：提供丰富的metric以及报警，来及时发现，定位以及解决特征质量问题，提升机器学习推理效果 特征分享：提供SDK以及UI来方便开发者注册，搜索和读取特征。鼓励合作分享，减少重复的开发工作
- 特征开发：提供简单易用的SDK来定义特征，避免特征穿越问题，提升开发效率 特征部署：将特征定义自动翻译成高性能分布式数据处理作业 (e.g. Flink, Spark)，减少额外的开发工作 特征监控：提供丰富的metric以及报警，来及时发现，定位以及解决特征质量问题，提升机器学习推理效果 特征分享：提供SDK以及UI来方便开发者注册，搜索和读取特征。鼓励合作分享，减少重复的开发工作
- 容易使用的特征开发SDK 支持丰富的数据源和数据储存 定义具有point-in-time correctness的丰富的特征计算逻辑 特征部署/计算/储存 输出特征到离线存储 (e.g. HDFS) 用于离线训练 输出特征到在线存储 (e.g. Redis) 用于在线推理，支持基于时间的覆盖规则 提供高吞吐，低延迟的实时特征计算 特征质量监控 监控特征作业延迟，稳定性 etc. 监控特征数值分布变化，异常数值比例 etc. 特征元数据中心 支持特征注册，搜索和读取
- SDK简单易用：基于Python的SDK，可以插入Python/Java/C++ UDF, 贴近数据科学家的开发习惯 支持快速实验：数据科学家可以在单机运行实验，无需依赖远程分布式集群 支持快速部署：数据科学家无需改代码就能完成从实验到生产的切换 支持实时特征：支持基于Flink的原生实时特征计算，实现流批一体 处理引擎可扩展: 处理引擎框架能被扩展来支持Spark, 公司内部自研的引擎 etc. 开源且支持本地化部署：支持多云，不绑定任何云服务
- TableDescriptor – 声明式的table定义，代表一组特征 FeatureTable – 代表具有物理位置的table (e.g. KafkaSource, FileSystemSink) FeatureView – 代表对某个table应用Transform逻辑所得到的table DerivedFeatureView – 支持单行计算，Over窗口聚合，以及table join SlidingFeatureView – 支持单行计算和滑动窗口聚合 OnDemandFeatureView – 支持单行计算和table join。用于特征在线计算 Transformation – 声明式的特征计算逻辑 ExpressionTransform – 表达单行的计算逻辑 (e.g. x + y * z) JoinTransform – 表达多个table之间的特征拼接 OverWindowTransform – 表达基于Over窗口聚合的计算逻辑 SlidingWindowTransform – 表达基于滑动窗口聚合的计算逻辑 PythonUDFTransform – 支持用户自定义的Python UDF …