[发明专利]一种基于多视图对比学习的多层网络节点表示学习方法在审
申请号: | 202211355797.8 | 申请日: | 2022-11-01 |
公开(公告)号: | CN115906920A | 公开(公告)日: | 2023-04-04 |
发明(设计)人: | 张明杰;汪鼎文;吴弘润;李元香;项正龙 | 申请(专利权)人: | 武汉大学 |
主分类号: | G06N3/042 | 分类号: | G06N3/042;G06N3/0464;G06N3/088 |
代理公司: | 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 | 代理人: | 王琪 |
地址: | 430072 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 视图 对比 学习 多层 网络 节点 表示 学习方法 | ||
本发明公开了一种基于多视图对比学习的多层网络节点表示学习方法,引入互信息最大化和多视图对比学习来解决无监督多层网络节点表示问题。本发明利用多视图学习的方法,通过比较一个视图的节点表示和另一个视图的图表示来最大化两个视图之间的互信息(邻接矩阵和扩散矩阵)。同时,利用多层信息融合,通过同时建模层内和层间的全局信息来学习更好的多层网络节点表示。模型的最终节点表示结果既包含了层间的特定信息,也包含了层间的全局信息。这样的一种基于多视图对比学习的多层网络节点表示学习方法可以提高多层图网络节点分类任务以及节点聚类任务的准确率。
技术领域
本发明属于图神经网络和对比学习的技术领域。在多层网络节点表示学习中,通过最大化互信息的对比学习方法,学习网络中节点的低阶表示形式,从而将节点的表示运用到下游的分类及聚类等任务中。
背景技术
许多现实世界的数据集都是用图结构表示的,其中对象及其之间的关系用节点和节点间的边表示。传统的机器学习模型难以处理这样的非欧几里得数据。随着神经网络有关模型的快速发展,图神经网络在处理这类图网络数据方面显示出了强大的潜力。这些模型通过聚合节点自身以及邻居的信息来学习节点或图的低维表示,如利用专门设计的神经网络层对图网络数据进行处理,利用注意力机制或随机采样直接在图域内进行图卷积运算等。
现有的大多数图神经网络需要利用已经标记好的数据作为参照,进行半监督训练,但标记图是一项具有挑战性和耗时的任务。为了解决这一问题,学者们提出了基于重建、随机游走和对比学习的无监督学习方法。具体来说,基于重建的方法采用编码器-解码器模型来重构节点之间的边,并学习节点的相关信息。基于随机游走的模型通过将某些不同规则生成的节点序列提供给模型来学习节点表示。但这两类模型只考虑由邻接矩阵组成的邻居信息,忽略了图中包含的全局结构和高层信息以及节点自身包含的属性。基于对比学习的模型通过最大化节点和图表示之间的局部-全局互信息来学习节点表示,这类模型同时考虑了图的局部和全局特征,具有更加优异的表现。但是值得注意的是,这些方法只适用于同构图的学习。
对于异构图的无监督学习,学者们将同构图算法进行了相应的改造和扩展,例如采用层级间的跳跃等方式实现异构图上随机游走算法,或者将互信息最大化的对比学习和注意机制相结合的方法应用于异构图的无监督节点表示学习。然而,这些方法在学习节点表示时,只是利用了节点的邻接矩阵或低阶邻居信息。近年来,在计算机视觉领域,多视图对比学习发挥着不可或缺的作用,它利用一个图像的多个视图来学习其表示,在图像分类任务中取得了优异的结果。这样一种多视图学习模型可以迁移到图网络的学习模型中,通过多个不同视图的信息提取,模型不单单可以学习到邻接矩阵中的信息,还可以学习到邻接矩阵中不包含的高层信息,因此将多视图学习应用于图网络是一个有意义的任务。
综上所述,现有的技术存在这以下问题:1.部分模型需要利用已标注好的标签信息进行有监督的学习;2.大部分模型只适用于同构图的学习中,在异构图中不能取得较好的结果;3.现有模型只利用了节点的邻接矩阵或低阶邻居信息,未能很好地提取图结构的全局信息。
发明内容
针对现有研究中的局限性,本文将多视图学习运用于多层网络节点表示学习中提出了一种基于多视图对比学习的多层网络节点表示学习方法。该方法将多视图对比学习扩展到多层网络图中并且可以提取出更好的全局结构层间信息。具体来说,我们首先利用图的不同结构视图之间的互信息最大化,让模型从高阶邻居中聚合特征,学习全局信息。其次,为了使多层网络中的每一层都包含多层网络的全局结构信息,我们将模型分为了两部分:分层图神经网络以及层间融合图神经网络。分层图神经网络学习节点在每层中特有的表示,层间融合网络将多层图看作一个整体学习每个节点的整体表示,我们将得到的整体表示加入到分层表示中。通过最大化多个视图中的节点表示和图表示之间的互信息,模型可以学习到丰富的局部和全局信息,提高节点表示能力。通过最大化来自不同视图的局部-全局互信息,我们的模型实现了无监督的节点表示学习,同时让节点包含了一定的图级别的全局结构信息。在得到最终的节点表示后,我们可以将表示结果应用于后续的各种任务,如节点聚类和节点分类。具体实现步骤如下所示:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉大学,未经武汉大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211355797.8/2.html,转载请声明来源钻瓜专利网。