[发明专利]一种基于磁盘的分布式图计算方法

权利要求书

1.一种基于磁盘的分布式图计算方法，其特征在于，包括以下步骤：

(1)将图分割成P个能被装进各计算节点内存的子图；P>1；

(2)通过N次迭代完成一个图计算作业；N≥1；

所述步骤(2)具体包括如下子步骤：

(2.1)主节点采用哈希函数H(s)＝s mod M将P个子图依次指派到M个计算节点；

(2.2)主节点采用哈希函数H(t)＝t mod M把(N×P)个任务依次指派到各计算节点，各计算节点将收到的任务依次放入任务队列；

(2.3)计算节点采用哈希函数H(t)＝t mod P将任务队列里的任务与所述子图关联起来；

(2.4)由主节点对(N×P)个任务进行调度，向各计算节点发出“开始执行”指令；

(2.5)各计算结点取出任务，并根据该任务关联的子图构建子图数据结构，并行处理该子图的所有顶点，按优先级发送并保存数据块；

其中，s为子图s的ID号，t为第t个任务的ID号，H(t)为任务所关联子图的ID；0≤t≤N×(P-1)，1<M≤P；0≤s≤P-1；

(3)主节点将各计算节点的计算结果进行合并后输出。

2.如权利要求1所述的分布式图计算方法，其特征在于，所述步骤(2.5)具体包括以下子步骤：

(2.5.1)各计算节点从任务队列中取出一个任务，从磁盘加载该任务所关联的子图，并在内存中构建该子图的数据结构；

(2.5.2)判断前一个任务的计算阶段是否完成，若是，则进入步骤(2.5.3)；若否，则等待，直到前一个任务的计算阶段完成，再进入步骤(2.5.3)；

(2.5.3)计算节点根据用户定义并行处理该子图的所有顶点；

(2.5.4)计算节点根据各子图所依赖数据块的个数设置子图的优先级，并按优先级从高到低的顺序，将子图所依赖的数据块发送给其它(P-1)个子图；

(2.5.5)判断是否达到用户设定的结束条件或任务队列为空，若是，则向主结点发送本计算结点的计算结果；若否，则进入步骤(2.5.1)。

3.如权利要求2所述的分布式图计算方法，其特征在于，所述优先级，根据子图所依赖数据块的个数确定，子图所依赖数据块的个数越小，子图的优先级越高。