[发明专利]适用于联邦学习的信息交互系统及方法

说明书

本发明实施例公开了一种适用于联邦学习的信息交互系统及方法，该系统包括至少两个参与方和一个协调方，每个参与方具有一个图网络，图网络中包含若干个节点；各个参与方将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量，并基于节点的表征向量，进行图神经网络模型的训练，且训练过程中向所述协调方上传梯度信息；所述协调方根据所有参与方上传的梯度信息，对各个参与方上传的梯度信息进行修正，并将修正后的梯度信息下发给各个参与方；各个参与方接收协调方反馈的修正后的梯度信息，并基于协调方修正后的梯度信息更新节点的表征向量。本发明可以在保障各参与方信息安全的情况下实现信息交互。

技术领域

本发明属于大数据技术领域，具体的，本发明涉及一种适用于联邦学习的信息交互系统及方法。

背景技术

企业间的合作已经司空见惯，跨领域的项目合作也存在着巨大的潜力，可以很好地弥补各方的不足。例如，社交企业（用户基本信息）与电商（购物、浏览记录）合作。鉴于多方的数据互补的潜力以及用户隐私保护、数据安全要求，联邦学习应运而生。联邦学习是指在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习。除图像、文本形式外，信息也常以网络形式数据给出。目前，对于基于深度学习的网络建模的主流方案有基于随机游走，其典型的代表是deepwalk。按照节点的连接关系，通过随机地在节点间进行游走，采样出一个节点序列，再用word2vec编码各个节点。然而，由于网络中各个节点相互连接，节点即可以作为分析的样本，同时也是相关节点的特征。而主流的联邦学习一般是针对样本扩充的横向联邦学习和针对特征扩展的纵向联邦学习。从信息丢失角度而言，在随机游走的方式中，节点是以基本单元的形式参与模型训练的，而节点自身也具有一些固有属性，如：文本描述、标签、图片等，这些信息在建模过程中将会丢失。从信息的跨图传播效率而言，信息通过交点集合进行跨图传递，限于这种传递的频率较低，信息的广播速度受到极大限制，必须活跃图训练完毕后，才会有下一个子图被激活，整个训练过程是串行化递进的，当参与的数据提供方较多时，问题将更加严重。因此，如何解决现有技术中随机游走的串行化编码方式存在的节点自身信息易缺失、交互频率低、计算效率低的技术问题是本申请人研究的重点项目，本研究由国家重点研发计划资助，课题编号：2019YFB1404605。

发明内容

为了解决现有技术中随机游走的串行化编码方式存在的节点自身信息易缺失、交互频率低，计算结果的准确性有待提高和计算效率低下的技术问题，本发明公开的实施例提供了一种适用于联邦学习的信息交互系统及方法，通过并行化编码方式可以更充分利用节点自身属性信息，以及提高交互频率，提高数据处理的计算效率。

本发明的第一目的是解决现有技术中随机游走的串行化编码方式存在交互频率低，计算效率低下的技术问题，为此，本申请的实施例所采用的技术方案如下：

一种适用于联邦学习的信息交互系统，包括至少两个参与方和一个协调方，每个参与方具有一个图网络，图网络中包含若干个节点；其中，

各个参与方并行地将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量，并基于节点的表征向量，进行图神经网络模型的训练，且训练过程中向所述协调方上传梯度信息；

所述协调方根据所有参与方上传的梯度信息，对各个参与方上传的梯度信息进行修正，并将修正后的梯度信息下发给各个参与方；

各个参与方接收协调方反馈的修正后的梯度信息，并基于协调方修正后的梯度信息更新节点的表征向量。

上述方案中，各参与方并行地进行各自的节点编码，通过将节点用定长向量表征后进行图神经网络模型训练，且训练过程中及时上传梯度信息，有效地实现了多参与方之间的信息交互，并行方式极大地提高了交互效率，进而提高了计算效率；而且各参与方上传的仅是梯度信息，且是通过协调方来协调修正，各参与方各自的数据不会外泄，保障了各方的信息安全。