More Related Content
Similar to SMP 2019 - 表示学习论坛 - 魏忠钰 - 复旦大学.pptx.pdf
Similar to SMP 2019 - 表示学习论坛 - 魏忠钰 - 复旦大学.pptx.pdf (6)
SMP 2019 - 表示学习论坛 - 魏忠钰 - 复旦大学.pptx.pdf
- 1. 复旦大学大数据学院 School of Data Science, Fudan University 魏忠钰 副教授 复旦大学 大数据学院 图神经网络在交叉学科领域的应用研究 2019年8月18日 深圳 第八届全国社会媒体处理大会 表示学习分论坛
- 2. 图神经网络的基本部件 (1) Kipf and Welling, Semi-Supervised Classification with Graph Convolutional Networks, ICLR 2017 ▪ 给定输入的基本图表示 𝑮 = (𝑽, 𝑬) ▪ 𝑽 是一个节点结合， 𝑬 作为节点之间的关系 ▪ 节点表示更新公式 ▪ 网络输出
- 3. 图神经网络的基本部件 (2) Kipf and Welling, Semi-Supervised Classification with Graph Convolutional Networks, ICLR 2017 ▪ 网络训练方式 ▪ 有监督模式 ▪ 无监督模式： 利用图原本携带的信息，使表示学习尽量靠近图的基本特征。 ▪ 半监督模式：使用部分节点的标签信息 t 为 节点的目标标签（人工给定），o为网络输出节点
- 4. 网络（图），无处不在 ▪ 金融市场中的实体网络 ▪ 公司法人、自然人 ▪ 股票持有关系 ▪ 社交网络平台中的用户关系网络 ▪ 用户 ▪ 互相关注、相关转发 ▪ 生物医学领域的实体网络 ▪ 基因，蛋白质 ▪ 实体上下位信息，功能表达的聚合 ▪ 新闻文本文档中的词语网络 ▪ 词，句子 ▪ 语义关系
- 5. 目录 ▪ 背景介绍 ▪ 图神经网络模型在计算金融方面的应用 ▪ 图神经网络模型在用户表示学习方面的应用 ▪ 总结
- 6. 工作的主要学生贡献者 ▪ 杨依莹： 2017级 硕士 ▪ 陈滢美： 2017级 硕士 ▪ 杨雨樵： 2014级 本科生 ▪ 宁上毅： 2018级 硕士 ▪ 林晓强： 2016级 本科生
- 7. 事件驱动的投资决策辅助 ▪Kensho 公司 ▪ 自动化地从经济报告、货币政策、时政新闻等多方位研究市场动态 ▪ 2013年成立，高盛投资1500万美元 ▪ 2018年被S&P GLOBAL 5.5亿美元收购 ▪ 提出了事件驱动的投资决策辅助的概念 ▪ 总统竞选 对于不同行业股价的影响 1992年起，总统竞选阶段行业情况概览
- 8. 事件 + 实体网络的金融领域投资辅助决策 事件抽取 事件 - 市场 关联模型 自然人 关系网络 金融法人 关系网络 自然人与法人关系网络 网络 -市场 关联模型 查询词语义理解 相关事件检索 金融事件预测 事件归因 事件 - 网络 传播模型 事 件 驱 动 金 融 资 讯 系 统 构 建 事件知识库 事件-网络-市场关联模型 金融领域实体关系网络 社交媒体 金融新闻 公司公告 金融领域知识 市场交易数据 投资建议报告 查询 网络爬虫 信息采集 事件与网络 建模 上层应用
- 9. 事件 + 实体网络的金融领域投资辅助决策 事件抽取 事件 - 市场 关联模型 自然人 关系网络 金融法人 关系网络 自然人与法人关系网络 网络 -市场 关联模型 查询词语义理解 相关事件检索 金融事件预测 事件归因 事件 - 网络 传播模型 事 件 驱 动 金 融 资 讯 系 统 构 建 事件知识库 事件-网络-市场关联模型 金融领域实体关系网络 社交媒体 金融新闻 公司公告 金融领域知识 市场交易数据 投资建议报告 查询 网络爬虫 信息采集 事件与网络 建模 上层应用
- 10. 金融市场中的网络 ◼ 金融市场中的“单位”是相互依存的，彼此相互关联，形成相应的网络 ◼ 金融实体：公司、机构、金融行业从业者 ◼ 实体关系： ▪ 以金融事实连接的网络：如基金间的共同重仓持股关系、公司相互持股关系等 ▪ 以社会事实连接的网络：如基金经理间的校友关系、同城关系、年龄相仿等 ✓ 金融网络中的实体表示学习
- 11. 金融网络中的实体表示学习 ❖ 为金融实体学习一个低维度的稠密向量 ◼ 多维度相关公司推荐 ◼ 关联波动预测 ◼ 关联交易挖掘 ◼ 股票价格预测
- 12. 结合公司网络关系的股票价格预测 公司表示学习 结合邻居特征 混合特征表示 基于循环神经网络 的历史信息建模和 目标预测 ◼ 使用公司表示，计算公司相关度，选择邻居节点 Incorporating Corporation Relationship via Graph Convolutional Neural Networks for Stock Price Prediction, CIKM‘18, , short paper
- 14. 金融实体网络构建 ◼ 采用持股关系构建公司网络, 在万得数据库中抽取上市公司以及他们的前十大持股 机构的信息进行网络构建 ◼ 2017年4月29日的数据, 20, 836 个网络节点 （公司+机构）
- 15. 股票价格预测设定 ◼ 以沪深三百上市公司作为对象，从Tushare获得股票的交易日股价信息， 如果开盘价格高于上一个交易日的开盘价，则标记为涨，否则为跌。 ◼ 当前交易日前七个工作日股价信息作为历史信息。 ◼ 某一日的特征表示 <开盘价，高点，低点，收盘价，交易量> 训练 测试 测试样例数 31,066 13,315 上涨天数的比例 0.528 0.501 时间区间 29/04/2017 – 13/10/2017 16/10/2017 – 31/12/2017
- 16. 实验设置 ◼ Majority： 始终猜数据中最多的那一类（跌） ◼ LR： 单个公司的离散特征，使用多层感知机做预测 ◼ LSTM： 采用循环神经网络进行特征学习 ◼ 使用邻居信息进行特征扩展： ◼ Deepwalk + LSTM ◼ Node2vec + LSTM ◼ LINE + LSTM ◼ GCN + LSTM: 使用图神经网络进行节点表示学习
- 17. 实验结果 方法 准确率 特征表示 邻居信息 分类器 majority 50.10% - - - LR 52.07% 离散 无 回归 LSTM 53.17% 循环神经网络 无 多层感知机 DeepWalk+LSTM 56.93% 循环神经网络 是 多层感知机 node2vec+LSTM 56.61% 循环神经网络 是 多层感知机 LINE+LSTM 57.00% 循环神经网络 是 多层感知机 GCN+LSTM 57.98% 循环神经网络 是 多层感知机
- 19. 事件 + 实体网络的金融领域投资辅助决策 事件抽取 事件 - 市场 关联模型 自然人 关系网络 金融法人 关系网络 自然人与法人关系网络 网络 -市场 关联模型 查询词语义理解 相关事件检索 金融事件预测 事件归因 事件 - 网络 传播模型 事 件 驱 动 金 融 资 讯 系 统 构 建 事件知识库 事件-网络-市场关联模型 金融领域实体关系网络 社交媒体 金融新闻 公司公告 金融领域知识 市场交易数据 投资建议报告 查询 网络爬虫 信息采集 事件与网络 建模 上层应用
- 20. 事件 ◼ 自然语言处理领域的传统定义：事件是特定时间、地点下的一个 状态变化 ◼ 经典的事件抽取和分类任务，ACE 2005 ◼ 话题检测和跟踪 ◼ 样例：XX 在去年过世了 ， 小明打了小红 ◼使用三元组（或者多元组）的方式，对事件进行表示 ◼ <XX，过世， NULL>，<小明，打了，小红>
- 21. 金融事件 ▪ 对金融市场产生影响的重要事件 ▪ 例：停牌 了近半个月的科大讯飞 (002230.SZ)宣布复牌 ▪ 例：河北雄安新区，设立于在17年4月，但京津冀协同战略、打造北京疏解集中 承载地、国家主席深入河北考察调研等新闻早已频繁出现 ▪ 公告事件 ： 金融实体往往是其中的角色扮演者 ▪ 开放域事件 ： 自然事件，政治事件
- 22. 金融事件链条 ◼ 由同一时间轴上顺次发生并且互相有关联性的多个事件 形成的序列。 ◼ 三星的Note 7 手机爆炸事件 安全事故 产品召回 交易异动 停牌
- 23. 金融事件链条中的预测 ◼ 基于特定公司的历史事件链条，预测下一个金融事件 ◼ 金融事件不是孤立存在的 ◼ 金融事件的发生收到外部信息的影响
- 24. 金融领域的事件建模 相关工作 ◼ Ding et al., EMNLP 2014 ◼ 利用三元组进行事件表示，基于频率统计进行事件表示学习 ◼ Ding et al., IJCAI 2015 ◼ 使用层次化神经网络，进行事件的表示学习 ◼ Duan et al., IJCAI 2018 ◼使用图神经网络进行开放域事件链条的预测 ✓ 以金融市场的公告事件为预测对象 ✓ 将公告事件和开放域事件分开处理
- 25. 结合外部知识的金融公告事件预测框架 e1 en ck e2 event chain and candidates c1 … … [event embedding+news embedding] (bank, invest) News graph (industry, verb) α1 αn Event graph e1 e2 en v1 v2 vn Event Representation h(t ) e3 h(t ) e1 h(t ) e2 h(t ) ck g(e1,ck) g(e2,ck) g(e3,ck) p(ck|e1,e2,e3) … Event Prediction h(t ) e1 h(t ) e2 h(t ) e3 h(t ) ck h(0) e1 h(0) e2 h(0) e3 h(0) ck Graph Neural Network A= ◼ 针对一个特定的公司，给定一个事件链条 𝑒1, 𝑒2, ..., 𝑒𝑛 , 和候选事件列表 𝑐1,...,𝑐𝑘 ，选择一个概率最大的后续事件。 Using External Knowledge for Financial Event Prediction based on Graph Neural Networks, CIKM’19, short paper
- 26. 金融公告事件图的构造 ◼ 金融事件之间，存在各种形式的关系 ◼ 因果关系 ◼ 顺序关系 ◼ 利用针对特定公司发生的金融事件（固定集合）构建金融事件图
- 27. 金融开放域事件图构造 ◼ 构造无向开放域事件图 ◼ 节点： 简化的二元组表示，司主体和动作 ◼ 边：同一天发生的时间节点，会有连边
- 28. 金融公告事件表示初始化 ◼ 结合开放域信息的金融表示初始化表示初始化 ◼ step 1: ℎ𝑒 表示金融事件e的初始化表示 ◼ step 2: 利用时间窗口信息选取开放域信息 ℎ𝑣.利用图注意 力机制进行表示初始化 ◼ step 3: 混合开放域信息的金融事件表示更新
- 29. 基于图神经网络的金融公告事件表示学习 ◼ 构建推理图，包含历史金融事件节点和候选事件节点 ◼ 如果事件节点在金融事件图中有关联，那么在邻接矩阵的相应位置 置相应值 ◼ℎ(0) = ℎ𝑒1 0 , . . . , ℎ𝑒𝑛 0 , ℎ𝑐1 0 , . . . , ℎ𝑐𝑘 0 ◼𝐀[𝑖, 𝑗] = ቊ 𝑤(𝑒𝑗|𝑒𝑖), 𝑖𝑓 𝑒𝑖 → 𝑒𝑗 ∈ 𝐿 0, 𝑜𝑡ℎ𝑒𝑟𝑠 ◼𝑤(𝑒𝑗|𝑒𝑖) = 𝑐𝑜𝑢𝑛𝑡(𝑒𝑖,𝑒𝑗) σ𝑘 𝑐𝑜𝑢𝑛𝑡(𝑒𝑖,𝑒𝑘) ◼ 我们采用了门机制的图神经网网络对金融事件的表示进行更新 𝑎(𝑡) = 𝐀⊤ℎ(𝑡−1) + 𝑏 𝑧(𝑡) = 𝜎(𝑊 𝑧𝑎(𝑡) + 𝑈𝑧ℎ(𝑡−1)) 𝑟(𝑡) = 𝜎(𝑊 𝑟𝑎(𝑡) + 𝑈𝑟ℎ(𝑡−1)) 𝑐(𝑡) = 𝑡𝑎𝑛ℎ(𝑊 𝑐𝑎(𝑡) + 𝑈𝑐(𝑟(𝑡) ⊙ ℎ(𝑡−1)) ℎ(𝑡) = (1 − 𝑧(𝑡) ) ⊙ ℎ(𝑡−1) + 𝑧(𝑡) ⊙ 𝑐(𝑡)
- 30. 金融公告事件预测 ◼ 给定历史金融事件链条，重要性最高的被选为目标事件 𝑠𝑗 = 𝑝(𝑐𝑗|𝑒1, 𝑒2, 𝑒𝑛) = 1 𝑛 𝑖=1 𝑛 𝑠𝑖𝑗 ◼ 给定一个事件对， ℎ𝑒𝑖 (𝑡) 和ℎ𝑐𝑗 (𝑡) ◼ 两个事件的相关性计算公式，欧氏距离 𝑠𝑖𝑗 = 𝑔(ℎ𝑒𝑖 (𝑡) , ℎ𝑐𝑗 (𝑡) ) ◼ 目标函数： 𝐿(𝛩) = 𝑖=1 𝑛 𝑗=1 𝑘 ( 𝑚𝑎𝑥(0, 𝑚 − 𝑠𝑖𝑦 + 𝑠𝑖𝑘)) + 𝜆 2 ∥ 𝛩 ∥2
- 31. 公告事件集合 ◼ 2000 至 2017年的2,303,013个公告事 件，360个事件类型，25个事件类别 ◼ 3,556 个公司 ◼ 平均每家公司 647 个事件 ◼ 平均事件间隔为6.52天
- 32. 开放域事件语料集合 ◼ 1.69 million 新闻 ◼ 28 行业 ◼ 30,042 事件类型（动词） ◼ 200,864 (行业, 动词) 对
- 33. 实验设置 ◼ 以上市公司为目标，在完整的事件链条上通过划窗的方式构建事件链条， 窗口为5，给定前四个事件，预测第五个事件发生的概率。 ◼ 评价指标： Top3的预测准确率 训练 验证 测试 年份 2000-2015 2016 2017 个数 1,687,366 327,437 239,095
- 34. 对比模型 ◼ PMI [Chambers and Jurafsky, 2008]: 基于互信息的事件预测模型 ◼ Word2Vec [Mikolov et al., 2013b]: 使用公告事件的字表示进行事件建模 ◼ DeepWalk [Perozzi et al., 2014]: 使用deepwalk进行事件表示学习 ◼ LSTM [Wang et al., 2017]: 对历史事件链条进行综合考虑 ◼ GGNN: 我们的图卷积模型. ◼ GGNN+News (mean): 结合开放域事件的图模型，平均加权 ◼ GGNN+News (attention): 结合开放域事件的图模型，注意力加权
- 35. 实验结果
- 36. 事件表示的可视化分析 Two-dimensional PCA projection of 128-dimensional event embeddings.
- 37. 小结 ◼ 针对显示的图环境，引入GNN进行节点的表示学习，建模场景下的结 构特征 ◼ 针对非显示的图环境，利用离散的顺序关系叠加构建图环境，从而引 入全局特征 ◼ 考虑事件在网络中的传播以及后续的影响： 动态图的处理
- 38. 目录 ▪ 背景介绍 ▪ 图神经网络模型在计算金融方面的应用 ▪ 图神经网络模型在用户表示学习方面的应用 ▪ 总结
- 39. 用户和言论的表示学习 ▪ 是否可以为人类构建表示向量，如同词向量一样？ ▪ 针对某一个社会讨论的话题，可以计算某目标用户对于这个话题 的态度。 ▪ 议员的议案投票预测 ▪ 社交网络中用户画像问题
- 41. 议员信息 ▪ 概况（overview） ▪ 所属党派（Party） ▪ 竞选地区（State） ▪ 唯一身份（ID）
- 42. 议案的信息 ▪ 信息（all information） ▪ 议题的标题与描述（Description） ▪ 议题的共同发起人（co-sponsors） ▪ 议题包含的政治领域 ▪ 议题总结 ▪ 议题的投票结果(Vote result)
- 43. 现有的政治议员倾向性预测模型 ▪ Ideal point model [Clinton et al., 2004] ▪ 将议案和议员映射到二维空间中 ▪ 不考虑议案本身的信息 ▪ 不考虑议员之间的关系 0 𝑢1 𝑢4 𝑢2 𝑢3 𝑢5
- 44. 议员网络的构建 Legislation 1 Co-sponsor 1 ⋮ Co-sponsor n 构建联合发起人网络 Legislation 1 ⋮ Legislation m 随机去除 50% 的边 所有的议案 最终的人的网络
- 45. 基于图神经网络的议员表示学习 ID State Party Legislator 1 Legislator n ⋮ Embedding Layer ID State Party GCN Layer ▪ 议员表示初始化： 拼接ID，地域和党派 ▪ 采用图卷积神经网络进行医院表示更新
- 46. 议员议案的表示学习模块 To amend the Internal Revenue Code of 1986 to extend to 2006 the alternative …… Embedding Layer To amend the Internal … … … LSTM encoder Layer Representation of legislation ▪ 将议案的文字信息通过循环神经网络进行表示学习
- 47. 模型训练方式 Yea No Not Vote Sample Positive Negative Positive Representation Sample Negative representation Sample Triplet Loss l𝑡𝑟𝑖 = max(0, 𝑥𝑙𝑒𝑔𝑖𝑠𝑙𝑎𝑡𝑖𝑜𝑛 − 𝑥𝑝𝑜𝑠𝑡𝑖𝑣𝑒 2 − 𝑥𝑙𝑒𝑔𝑖𝑠𝑙𝑎𝑡𝑖𝑜𝑛 − 𝑥𝑛𝑒𝑔𝑎𝑡𝑖𝑣𝑒 2 + 𝑚) Legislation Representation ▪ 将议员和议案投射到同一个空间 ▪ 希望赞同该议案的议员与议案的相似度高于不赞同的议员表示
- 49. 整体模型框架
- 50. 实验设置 ▪ 数据集 ▪ 2001年到2017年的议会议题的发起和投票信息 ▪ 数据来源：美国国会网 https://www.congress.gov ▪ 数据主体 ▪ 议员：2347名议员 ▪ 议题：215,857议题 ▪ 数据切割 ▪ 考虑政治事件的时序性与议会人员的变动，我们以4年为一个时间窗口，用4 年的时间来分割数据集，每个区间以前3年作为训练集后1年作为测试集，进 行滚动预测12年
- 51. 对比方法 ▪ Ideal point model：基于贝叶斯方法的模型，将议员和议案投影到同一空间 ▪ Ideal point model with text regression：将文本信息考虑到推断过程中 ▪ Deepwalk： 使用deepwalk为议员进行表示学习，并串联议员表示和法案表示 进行结果预测 ▪ Node2vec:使用node2vec为议员进行表示学习，并串联议员表示和法案表示进 行结果预测 ▪ TF-IDF，PCA+MLP：我们用TF-IDF结合PCA来得到法案的表示，利用初始化的 议员的表示，并且串联后过MLP进行训练预测 ▪ TF-IDF，PCA+MLP：我们用TF-IDF结合PCA来得到法案的表示，利用GCN来学 习议员的表示，并且串联后过MLP进行训练预测 ▪ Triplet loss without GCN: 我们提出的模型，不使用GCN ▪ Triplet loss with GCN: 我们提出的模型，使用GCN
- 52. 实验结果 Model Accuracy Clinton 68.1 Gerrish 75.3 Deepwalk 74.1 Node2vec 75.8 TF-IDF, PCA+MLP 62.5 TF-IDF, PCA+GCN 71.6 Triplet Loss without GCN 78.4 Triplet Loss with GCN 80.5 ▪ 增加议案的表示学习对模型效果的提升是有效的 ▪ Triplet loss是有效的 ▪ 加入议员的关系网络是有效的
- 53. 社交网络中用户画像 ▪ 对于给定用户，针对不同的属性，对其进行相关标签的判断。属 性可以包括，性别、年龄、教育水平、地域、职业、工资收入、 用户偏好、社群归属等等。 ▪ 现有模型缺少对于用户言论的建模 Convertlab 用户画像与精准经销 BlueMC 社群画像
- 54. 社交网络中用户画像和言论表示 ▪ 每一个用户的节点表示，与他的关注关系和发言特征相关 ▪ 关注关系——用户关系网络 ▪ 文本特征——言论的高频词共现网络 ▪ 发言特征——用户发送高频词的频率矩阵 ▪ 社交网络中，用户有聚类效应；发言有话题特征。
- 55. 结合图池化图网络模型的用户表示学习 ▪ 异质网络中的GCN模型 ▪ 同时在用户网络和文本网络进行表 示学习 ▪ 𝑋𝑛+1 = 𝜎 መ 𝐴𝑋𝑛 + 𝜆1𝐶𝑌 𝑊1 ▪ 𝑌𝑛+1 = 𝜎 𝐵𝑌𝑛 + 𝜆2𝐶′𝑋 𝑊2 ▪ 其中X, Y分别为用户和文本的节点表示， ▪ A, B, C分别为用户关系、文本关系、用户到文 本的邻接矩阵 用户 群
- 56. Graph-U-Net ▪ 节点更新的过程中，引入了池化的操作，关注其中的重要节点 ▪ gPool 进行节点选择，gUnpool进行图表示的还原 ▪ 使用单一的聚类中心以更多获取网络中核心节点的信息 Gao and Ji, Graph U Net, ICML 2019
- 58. 基于池化模型的聚类学习 ▪ 使用GCN对原始用户网络和文 本网络进行节点表示 ▪ 对得到的节点表示进行池化聚 类 ▪ 𝑃𝑜𝑜𝑙𝑖𝑛𝑔 𝑋 = max_k 𝑖 𝑋𝑖 𝑤𝑗′ ▪ 其中𝑤𝑗是第j个聚类的表示向量 ▪ Pooling操作找到距离𝑤𝑗最近的k 个节点
- 59. 基于池化模型的聚类学习 ① 对每个聚类分别用GCN学习聚类 上的节点表示 ② 将全局节点表示与聚类上的节点 表示进行拼接 ③ 对拼接后的图再次进行GCN操作， 得到最终的节点表示 ▪ ① ②中的池化与拼接操作在两张图上分别 进行，同时保存更新的节点表示用于拼接 ▪ 池化操作可分多步进行 ① ② ② ③
- 61. 实验设置 ▪ 数据集合划分，将用户划分成不重叠的三个部分。 ▪ 评价指标：在教育、工作五分类任务上的分类准确率 训练集 验证集 测试集 23,734 5,984 5,984
- 62. 对比方法 ◼ GCN: Kipf & Welling, 2017 ◼ Graph-U-Net: Gao & Ji, 2019 ◼ GCN+Multi-Pooling: 使用用户网络GCN和池化聚类 ◼ BiGCN: 使用用户网络+文本网络GCN ◼ BiGCN+Multi-Pooling: 使用用户网络+文本网络GCN和池化聚类
- 63. 实验结果 模型 Cora Citeseer 微博 GCN 81.5% 70.3% 45.1% Graph-U-Net 84.4% 73.2% 44.9% GCN+Multi-Pooling 84.2% 73.4% 45.7% BiGCN / / 45.9% BiGCN+Multi-Pooling / / 46.7%
- 64. 小结 ◼ 针对显示的图环境，引入GNN进行节点的表示学习，建模场景下的结 构特征 ◼ 针对非显示的图环境，利用离散的顺序关系叠加构建图环境，从而引 入全局特征 ◼ 在异质节点的情况下，使用图模型进行联合的表示学习
- 65. 总结 ▪ 在不同的交叉学科任务中，引入图神经网络以更好的使用领域的 背景知识 ▪ 对于领域的了解，构建任务，是计算背景的第一道门槛 ▪ 对于模型结果的解读，需要目标领域专家的参与 ▪ 特定场景任务需求可以推动计算模型的创新
- 66. 复旦大学大数据学院 School of Data Science, Fudan University 魏忠钰 副教授 复旦大学 大数据学院 图神经网络在交叉学科领域的应用研究 2019年8月18日 深圳 第八届全国社会媒体处理大会 表示学习分论坛