[发明专利]面向大规模图挖掘的分布式网络表示学习方法

摘要

本发明涉及面向大规模图挖掘的分布式网络表示学习系统，其中包括三种分别用于减少内存开销、加速模型训练和提高通信效率的核心优化技术，属于计算机大数据分析技术领域。该系统以多进程的方式运行在集群中，按照性质将进程区分成客户端和服务端：客户端负责数据加载以及与服务端进行交互，而服务端负责存储特征矩阵和处理客户端的计算请求。本发明解决了分布式网络表示学习过程中内存占用大和传输数据量较大的问题。特别地，本文详细描述了基于数据块的边抽样方式、特征矩阵的列划分技术以及基于内积离散化和状态记录的高效通信机制。本发明具有训练速度快、内存占用小、特征表达能力强和能处理大规模图数据的特点。

主权项

1.一种面向大规模图挖掘的分布式网络表示学习方法，其特征在于，包括：步骤11，分别对第一预设数目的边集中每一边集进行抽样，得到所述每一边集的子边集；所述第一预设数目的边集为对大规模图结构的所有边进行分组而得；步骤12，将所有所述子边集发送给第二预设数目的服务端，以使得所述第二预设数目的服务端返回所有所述子边集中每条边对应节点的特征向量的内积的各分量；步骤13，对所有所述子边集中每条边对应节点的特征向量的内积的各分量进行求和，得到所有所述子边集中每条边的内积并发送给所述第二预设数目的服务端，以供所述第二预设数目的服务端根据所有所述子边集中每条边的内积，更新所有所述子边集中每条边的起点和终点对应节点分别作为边的起点和终点时对应特征向量的各向量分块；步骤14，若所述抽样的次数未达到预设次数，重复所述抽样以及内积的发送过程，直至所述抽样的次数达到预设次数。