[发明专利]分布式图数据处理方法和装置

说明书

本发明提供一种分布式图数据处理方法和装置。本发明提供的分布式图数据处理方法，包括：在第一从计算节点执行完本轮迭代处理，并且判断消息队列中不存在待处理的第二计算消息、以及判断当前处理的分块中不存在活跃顶点时，在等待接收目标从计算节点发送的回复响应的过程中，判断是否接收到第二从计算节点发送的第二计算消息；若是，则执行下一轮迭代处理；其中，所述目标从计算节点为接收所述第一从计算节点发送的第一计算消息的从计算节点。本发明提供的分布式图数据处理方法和装置，可充分利用从计算节点的计算能力，减少同步等待的时间，优化执行效率，减少总执行时间。

技术领域

本发明涉及数据处理技术，尤其涉及一种分布式图数据处理方法和装置。

背景技术

图数据是由被称为顶点的数据对象的集合和被称为边的数据对象的集合组成的数据结构。由于图数据能够直观地表现现实世界中的许多应用场景，因此，图数据已经被广泛的应用于诸多领域，例如，路径规划、推荐系统等。

随着大数据时代的到来，图数据的数据条数(即边的条数)越来越多，数据与数据之间的联系更加复杂。单机已无法满足对图数据的处理。目前，常通过分布式图数据处理方法对图数据进行处理。具体地，将图数据分为多个分块，使得图数据的分块分布在各个从计算节点上进行处理，当其中一个从计算节点执行完本轮迭代计算后(在从计算节点执行本轮迭代计算的过程中，当得到当前分块的任一个顶点的计算结果后，均会向目标从计算节点发送计算消息，以通过上述计算消息将该计算结果发送给目标从计算节点)，该从计算节点首先判断消息队列中是否存在待处理的计算消息，若存在待处理的计算消息，则直接进入下一轮迭代计算；若判断消息队列中不存在待处理的计算消息，则再判断正在处理的分块中是否还存在活跃顶点，若判断正在处理的分块中不存在活跃顶点，则在接收到目标从计算节点的回复响应(该回复响应用于告知该从计算节点当前的目标计算节点已经收到其发送的计算消息)后，向主计算节点上报本轮迭代处理过程中发送的计算消息的个数，并等待接收主计算节点发送的控制命令(控制命令可以是计算终止的控制命令或者是进入下一轮计算的控制命令)。

利用现有的分布式图处理方法对图数据进行处理时，当其中任一个从计算节点在判断消息队列中不存在计算消息，且判断正在处理的分块中也不存在活跃顶点时，该从计算节点向主计算节点上报处理信息，并等待主计算节点的控制命令。由于主计算节点需要根据所有从计算节点上报的处理信息来做出控制命令。因此，当该从计算节点在等待接收主计算节点的控制命令的过程中，由于其他从计算节点可能还在执行本轮计算，所以等待时间可能会非常长，并且等待后的控制命令可能是进入下一轮计算。这样，不能充分利用该从计算节点的计算能力，造成资源的浪费，并使得图数据处理的时间较长。

发明内容

本发明提供一种分布式图数据处理方法和装置，可充分利用从计算节点的计算能力，减少同步等待的时间，优化执行效率，减少总执行时间。

本发明第一方面提供一种分布式图数据处理方法，包括：

在第一从计算节点执行完本轮迭代处理，并且判断消息队列中不存在待处理的第二计算消息、以及判断当前处理的分块中不存在活跃顶点时，在等待接收目标从计算节点发送的回复响应的过程中，判断是否接收到第二从计算节点发送的第二计算消息，其中，所述目标从计算节点为接收所述第一从计算节点发送的第一计算消息的从计算节点；

若是，则执行下一轮迭代处理。

进一步地，所述方法还包括：

若判断没有接收到所述第二计算消息，则在接收到所述目标从计算节点发送的回复响应后，将迭代处理过程中的处理信息发送给服务器；其中，所述处理信息包括所述第一从计算节点在迭代处理过程中发送的第一计算消息的个数以及接收的第二计算消息的个数。

进一步地，所述将迭代处理过程中的处理信息发送给服务器之后，所述方法还包括：