[发明专利]一种图计算预处理的装置、方法及系统

说明书

本发明实施例提供了一种图计算预处理的装置、方法及系统，涉及分布式数据处理领域，用以降低网络消耗。所述图转换器，包括：接收单元，用于接收原始图文件地址；获取单元，用于获取大顶点统计阈值；获取单元，还用于根据原始图文件地址读取原始图文件；确定单元，用于根据大顶点统计阈值，在原始图文件中确定出大顶点；处理单元，用于将大顶点与大顶点的边数记录到大顶点表中；发送单元，用于将大顶点表发送至图均衡器；接收单元，还用于接收图均衡器发送的大顶点分配表；处理单元，还用于按照预设规则并根据所述大顶点分配表，将各顶点分配至对应的存储空间。本发明实施例适用于图计算预处理的场景。

技术领域

本发明涉及分布式数据处理领域，尤其涉及一种图计算预处理的装置、方法及系统。

背景技术

图是表示对象与对象之间的关系的一种抽向的方法，是图论的基本研究对象。在图计算中，图是由顶点和顶点之间的边构成。随着信息的快速增长，图的规模随之也越来越大，随之出现的分布式图处理可以高效的对大规模图进行处理。其中，在分布式图处理对大规模图进行处理时，一般需要对大规模图进行图计算预处理，然后，对大规模图进行相应的计算。

在现有同步并行模式的分布式图处理系统中，图计算预处理方法包括三个步骤：首先，主控节点将图数据分割为若干个文件分片，并把个文件分片分配至多个计算节点；其次，各计算节点读取主控节点发送的文件分片；最后，各个计算节点进行图顶点重分配，即为各个计算节点通过在其他计算节点之间发送网络消息，将图顶点分配至对应的计算节点，以获得图中顶点在存储时的一次粗略优化。

在实现上述图计算预处理的过程中，发明人发现现有技术存在以下问题：计算节点通过图顶点重分配能够将各个顶点均匀的分配至各个计算节点中，但并没有考虑图顶点间边的影响。在图计算开始运行后，若一个顶点与其邻接顶点不在一个计算节点中，则在计算节点计算该顶点时，需要通过此计算节点与该顶点的邻接顶点所在的计算节点之间的网络进行信息交互。这样，在图计算开始运行后，各个计算节点均需获取各自邻接顶点的信息，若存在大量的顶点与其邻接顶点不在相同的计算节点中，则需要通过网络传输大量的信息，从而增加了网络消耗。

发明内容

本发明的实施例提供一种图计算预处理的装置、方法及系统，用以降低网络消耗。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明实施例提供了一种图转换器，包括：接收单元，用于接收主控节点发送的原始图文件地址；获取单元，用于获取大顶点统计阈值；所述获取单元，还用于根据所述接收单元接收的所述原始图文件地址读取原始图文件；确定单元，用于根据所述获取单元读取的所述大顶点统计阈值，在所述原始图文件中确定出大顶点；处理单元，用于将所述确定单元确定的所述大顶点与所述大顶点的边数记录到大顶点表中；发送单元，用于将所述大顶点表发送至图均衡器；所述接收单元，还用于接收所述图均衡器发送的大顶点分配表；所述大顶点分配表用于记录大顶点与存储空间之间映射关系；所述处理单元，还用于按照预设规则并根据所述大顶点分配表，将各顶点分配至对应的存储空间，以使得所述存储空间所在的计算节点对所述原始图文件进行计算；其中，所述预设规则包括将第一顶点分配至与其相邻的大顶点对应的存储空间；所述第一顶点是所述原始图文件中不是大顶点，且与大顶点相邻的顶点。

在第一方面的第一种可能的实现方式中，所述获取单元，具体用于从本地获取预先设定的所述大顶点统计阈值；或者，所述获取单元，具体用于接收所述主控节点发送的所述大顶点统计阈值。