5-3 图神经网络在推荐系统中的应用.pdf

1. 图神经网络在推荐系统中的应用与探索郭威华为 ∙ 诺亚方舟实验室 |

2. | 自我介绍郭威，本科毕业于西安电子科技大学硕士毕业于武汉大学 2019年6月入职华为诺亚方舟实验室研究方向：深度学习，用户行为建模、图表征学习等在推荐系统中的应用在国际顶级会议KDD、SIGIR、WWW、ICDE等发表论文10多篇。

4. | 诺亚推荐团队研究方向介绍深度学习模型知识图谱/GNN 多目标/迁移学习多模态融合推荐列表式推荐/重排序反事实学习/纠偏 AutoML 广告系统竞价算法基于预训练的IR技术分布式训练及优化 • 2019年至今，团队在KDD/SIGIR/NeuaIPS/AAAI/IJCAI/RecSys等顶会发表论文50+篇 • DeepFM (IJCAI2017)，引用次数1300+，2016-2020年IJCAI论文被引用次数第1； • AutoFIS（KDD2020），best paper candidate（top 10） • EDCN（DLP-KDD2021），best paper award • 持续支撑应用市场、游戏中心、信息流、广告、音乐等个性化推荐场景算法及优化

5. 01推荐系统和图神经网络 02图神经网络用于召回 03 04 图神经网络用于重排目录 CONTENT 图神经网络用于精排 |

6. 推荐系统和图神经网络 01 |

7. | 信息过载和个性化推荐音乐电商信息流社交网络位置服务视频华为应用市场华为游戏中心海量信息使得个性化推荐系统被大量应用推荐系统在华为许多场景被应用广告推荐 APP分发华为视频华为音乐华为阅读华为负一屏华为云华为商城华为浏览器

8. | 图神经网络用于推荐系统用户画像  相似的人物品属性  相似的物品上下文信息场景信息、浏览轨迹历史行为购买记录、浏览记录 ……. 物品 (Item) 用户 (User) 特征(Features) 物品池排序重排序几百万 Output Lists 几千几百几十典型的商业推荐系统的结构匹配用户-用户联系 • 社交关系 • 相同属性 … 物品-物品联系 • 相同的属性 • 外部的知识 … 用户-物品交互 • 隐式反馈 • 显式反馈…

9. 图神经网络用于召回 02 |

10. | 基于图神经网络的召回模型：业界研究工作 Pinsage：KDD2018 LightGCN：SIGIR2020 NGCF：SIGIR2019 NIA-GCN：SIGIR2020 （诺亚) Multi-GCCF：ICDM2019 （诺亚) DGCF：SIGIR2020 SGL：SIGIR2021 NCL：WWW2022 图的引入多图结构优化图对比学习

11. NIA-GCN:邻居交互感知的图卷积网络已有GCN召回模型存在的关键问题: • 忽略了用户-商品二部图存在的异质性（user和item是两种不同的节点） • 简单的聚合函数（mean , max，LSTM）在聚合邻居信息时限制了模型的表达能力如下图：左边的两个子图Max函数不能区分，右边的两个子图Mean函数不能区分 LSTM函数：不是排列不变的，且难以训练 Sun et al., Neighbor interaction aware graph convolution networks for recommendation, SIGIR 2020. |

12. | NIA-GCN:邻居交互感知的图卷积网络 Pairwise Neighborhood Aggregation Graph Convolution Layer (PNA): • 把每个邻居作为中心节点的特征 • 利用邻居间的哈德玛积来捕获邻居间特征交互 • 完整的邻居汇聚以及中心节点-邻居聚合过程

13. | NIA-GCN:邻居交互感知的图卷积网络 Parallel-GCNs: preserve the heterogeneous nature Cross-Depth Interaction (CDI): for the Final representation

14. NIA-GCN:邻居交互感知的图卷积网络 • NIA-GCN outperforms the next best method from 2.9% to 21.8% |

15. GraphSAIL: GCN在召回场景的轻量化 Xu et al., Graphsail: Graph structure aware incremental learning for recommender systems, CIKM 2020. | 增量学习容易遇到的问题: • 灾难性遗忘：增量更新的模型在新数据上过拟合，忘记了在旧模型上学习到的知识已有的增量学习解决方案: • 正则化：将旧模型上学习到的知识蒸馏到增量学习的新模型 • 蓄水池：保留一部分旧数据，和新数据混合在一起用于增量学习

16. GraphSAIL: GCN在召回场景的轻量化 | Embedding蒸馏: • 新学习得到得embedding不应该偏离旧的embedding太远，正则化系数保证变化大的节点，权重蒸馏权重小局部结构（一阶邻居）蒸馏: • 中心节点和一阶邻居的相似度不应该偏离太远

17. GraphSAIL: GCN在召回场景的轻量化全局结构蒸馏: • 首先将user节点和item节点进行聚类，得到K个类中心，𝓐𝑢 𝑘是类中心的平均embedding • 𝐺𝑆𝑢,𝓐𝑢 𝑘 是节点u和每个类中心的相对距离 • 蒸馏节点的全局位置通过维持节点和类中心的相对距离类中心老师模型分布匹配学生模型

18. GraphSAIL: GCN在召回场景的轻量化 Fine-tune (FT): 一个简单的基线模型，直接用新数据来fine-tune旧模型 Embedding distillation (Emb_d): embedding蒸馏的不加权版本 LSP_s: 一个最近的利用知识蒸馏来保留每个节点的一阶局部结构的工作

19. 图神经网络用于精排 03 |

20. | 基于图神经网络的精排模型：业界研究工作 GraphFM （arxiv） GMT：SIGIR2022 FiGNN：CIKM2019 L0-SIGN：AAAI2021 HIEN：SIGIR2022 DGENN：KDD2021 （诺亚) https://github.com/zziqi/CTR-Estimation 特征交互建模显式关系建模

21. | DGENN:双图增强的嵌入神经网络 DeepFM：IJCAI2017 PNN：ICDM2016 xDeepFM: KDD2019 Zhang et al.,Deep Learning for Click-through Rate Estimation, IJCAI 2021. Guo et al., Dual Graph enhanced Embedding Neural Network for CTR Prediction. KDD2021 DIEN: AAAI2019 DIN：KDD2018 SIM：CIKM2020 基于特征交互建模的CTR预估模型基于用户行为建模的CTR预估模型 CTR模型发展趋势

22. | DGENN:双图增强的嵌入神经网络 • 问题及挑战：特征稀疏性以及行为稀疏性点击? CTR (0.15) 𝑥 = [𝑾𝒆𝒆𝒌𝒅𝒂𝒚 = 𝑭𝒓𝒊𝒅𝒂𝒚,𝑮𝒆𝒏𝒅𝒆𝒓 = 𝑴𝒂𝒍𝒆,𝑪𝒊𝒕𝒚 = 𝑺𝒉𝒂𝒏𝒈𝒉𝒂𝒊] 𝑥 = [𝟎, 𝟎, 𝟎, 𝟎, 𝟏, 𝟎, 𝟎 𝟎, 𝟏 𝟎, 𝟎, 𝟏, 𝟎 …𝟎] • 存在大量的稀疏特征在训练数据中只出现很少的次数 • 存在大量的用户只有很少的历史交互 Guo et al., Dual Graph Enhanced Embedding Neural Network for CTR Prediction, KDD 2021.

23. | DGENN:双图增强的嵌入神经网络 MLP Representation Learning Embedding 解决方案：利用图表征学习引入 • 样本间特征关联：解决特征稀疏性问题 • 用户间行为关联：解决行为稀疏性问题已有的模型结构可以分为embedding层、表征学习、预测层三部分，我们利用图表征学习来优化 embedding层，因此我们的模型可以作为插件应用于大部分已有的CTR模型图学习策略：为了从包含关系的用户商品异质图中学习，我们提出 • 分治策略：先构建单属性图，再汇聚所有属性信息 • 课程学习策略：先学习用户-商品各自的表征，再学习用户-商品的协同关系构图: (1) 属性图；（2）user-user相似性图；（3）item-item共现图；（4）user-item协同图

24. | 在多个数据集上相比已有基线模型大幅提升。作为插件作用于多个基线模型，均取得明显提升。属性图，用户-用户图，商品-商品图，用户-商品图是互补的，可以组合起来提升最终的效果。 DGENN:双图增强的嵌入神经网络

25. GCN在精排场景的轻量化 |  图预训练 + fine tune: Qiu et al., GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training, KDD 2020. Zhang et al., Graph-less Neural Networks: Teaching Old MLPs New Tricks Via Distillation. ICLR2022 Cai et al., Graph Coarsening with Neural Networks. ICLR2021  图蒸馏:  图粗化:

26. 图神经网络用于重排 04 |

27. | IRGPR :商品关系图神经网络用于个性化重排序 • 排序列表中的商品关系影响用户最终的行为 • Substitute:可以互换的; • Complement:被用户同时交互. • 用户以不同的偏好和视角看代排序列表 • 价格, 质量, 可替代，互补等等. price! quality! substitutes! complements! Liu et al., Personalized Re-ranking with Item Relationships for E-commerce. CIKM 2020

28. | IRGPR :商品关系图神经网络用于个性化重排序 𝑢1 𝑢2 𝑢3 𝑢4 𝑣1 𝑣2 𝑣3 𝑣4 𝑣5 𝑣6 𝑣7 𝑣8 • 我们构建了一个异质图来建模用户和商品间的关系 • 商品-商品间的边：商品间的关系（互补/可替代） • 用户-商品:初始的精排分数. • 消息传播: • 学习用户/商品的表征向量(ℎ𝑣/ℎ𝑢). ℎ𝑣 (𝑙+1) = 1 |𝒩 𝑣| 𝑤∈𝒩 𝑣 𝐴ℎ𝑤 𝑙 . • 个性化重排序: 𝑦𝑢𝑣 = 𝜎 𝑀𝐿𝑃 ℎ𝑢 𝐿 ℎ𝑣 𝐿 . Item node 𝒗: 𝐴 = 𝑀𝐿𝑃(𝑒𝑣𝑤) User node 𝒖: 𝐴 = 𝑀𝐿𝑃 𝑥𝑢 ⋅ 𝑀𝐿𝑃(𝑒𝑣𝑢) item relationships Intent embeddingnetwork Initial rankingscores

29. | IRGPR :商品关系图神经网络用于个性化重排序 • Amazon Dataset [McAuley’15] – Also Bought (AB): Users bought 𝑥 also bought 𝑦 across sessions; – Also Viewed (AV): Users viewed 𝑥 also viewed 𝑦; – Bought Together (BT): Users frequently bought 𝑥 and 𝑦 (𝑥 and 𝑦 were purchased as part of a single basket); – Buy after Viewing (BV): Users who viewed 𝑥 eventually bought 𝑦. Table. Statistics of the Amazon data.

30. | Table. Experimental results on Amazon data. DeepFMis the initial ranker. Table. Ablation analysis of design componentsfor IRGPR. (a) Video Games (b) Clothing, Shoes, and Jewelry. IRGPR :商品关系图神经网络用于个性化重排序

31. 总结和展望 05 |

32. | 总结和展望总结: • 图神经网络在推荐系统的召回、精排、重排中得到了广泛的研究和应用。 • 我们提出了邻居交互感知的GCN模型来提高召回模型的效果。 • 针对精排模型中复杂的特征和关系，我们将数据建模成一个复杂的全局异质图，提出了两个策略：分支，课程学习来更好的学习特征的嵌入表征。 • 针对重排模型中的商品关系，我们将用户-商品建模成一个异质图，来进行个性化的重排序。 • 我们利用增量学习，预训练等策略来进一步提升图神经网络模型的训练、推理效率。展望: • 多行为、多场景、多模态等的应用。 • 复杂异质图建模 • 进一步提升训练效率，增快模型迭代效率

33. Q&A 实验室目前有多个领域的研究员岗位开放详情请关注公众号“诺亚实验室” 简历请投递：noahlab@huawei.com |

34. 非常感谢您的观看 |

5-3 图神经网络在推荐系统中的应用.pdf

You are reading a preview.

Check these out next

5-3 图神经网络在推荐系统中的应用.pdf

More Related Content

Similar to 5-3 图神经网络在推荐系统中的应用.pdf (20)

Recently uploaded (20)

5-3 图神经网络在推荐系统中的应用.pdf