[发明专利]对图形数据进行分区以进行大规模图形处理

说明书

发明性方面包括用于对大规模图形的图形数据进行分区和处理的方法、装置和系统。这可以包括在分区预处理步骤中，将多个目的顶点分配给多个分区，以使得多个目的顶点中的每个目的顶点被唯一地分配给多个分区当中的仅一个分区。这还可以包括，在外部图形处理步骤的主执行中，(i)将多个分区当中的目的顶点的给定分区从固态驱动器(SSD)加载到计算机器的主存储器中，(ii)将源顶点数据的一个或多个块从SSD流传输到计算机器的主存储器中，并且(iii)至少基于加载的目的顶点的给定分区和流传输的源顶点数据的一个或多个块来执行图形处理。

技术领域

本发明构思涉及大规模图形处理，更具体地，涉及用于对大规模图形处理进行分区的图形数据协调器和方法。

背景技术

大规模图形处理被广泛用于社交网络分析、推荐系统以及从人类基因中提取特征。随着图形数据集大小随着时间的推移增长，将所有图形数据存储在主存储器中(例如，存储在易失性存储器(诸如，通常被称为DRAM的动态随机存取存储器)中)不再有效也不可行。因此，快速发展的图形数据集大小要求将图形数据存储在非易失性驱动器(诸如，固态驱动器(solid state drive，SSD))上。这会导致对SSD的许多细粒度(fine-grained)的随机访问，从而延迟图形分析应用的执行并缩短了SSD的寿命。在将所有图形数据存储在SSD上并将数据加载到主存储器以运行外部图形处理的一种类型的图形处理框架中，中间细粒度数据首先记录(log)在SSD上，在每次迭代后进行分类(sort)，并且最后存储在SSD上。分类阶段会增加大量开销，并增加执行时间。此外，考虑到图形数据集大小正在增长，分类的成本会随着时间的推移而显著加重。

需要一种用于对图形数据进行分区以进行大规模图形处理的改进的图形数据协调器和方法。

发明内容

实施例可以包括用于对图形数据进行分区以进行大规模图形处理的计算机实施的方法。该方法可以包括，在分区预处理步骤中，将多个目的顶点分配(assign)给多个分区，使得多个目的顶点中的每个目的顶点被唯一地分配给多个分区当中的仅一个分区。该方法可以包括，在外部图形处理步骤的主执行(main execution)中，(i)将多个分区当中的目的顶点的给定分区从固态驱动器(SSD)加载到计算机器的主存储器中，(ii)将源顶点数据的一个或多个块从SSD流传输(stream)到计算机器的主存储器中，并且(iii)至少基于加载的目的顶点的给定分区和流传输的源顶点数据的一个或多个块来执行图形处理。

一些实施例包括一种计算机器，该计算机器包括图形数据协调器逻辑部分，该图形数据协调器逻辑部分被配置为执行分区预处理步骤，以将多个目的顶点分配给多个分区，使得多个目的顶点中的每个目的顶点被唯一地分配给多个分区当中的仅一个分区。该图形数据协调器逻辑部分被配置为执行外部图形处理步骤的主执行。该图形数据协调器逻辑部分被配置为将多个分区当中的目的顶点的给定分区从固态驱动器(SSD)加载到计算机器的主存储器中。该图形数据协调器逻辑部分被配置为将源顶点数据的一个或多个块从SSD流传输到计算机器的主存储器中。该图形数据协调器逻辑部分被配置为至少基于加载的目的顶点的给定分区和流传输的源顶点数据的一个或多个块来执行图形处理。

附图说明

通过参考附图进行的以下详细描述，本发明原理的前述和附加特征以及优点将变得更加清楚，其中：

图1是根据本文公开的实施例的包括各种分区的目的顶点表的示例图形，其中每个分区包括顶点。

图2是根据本文公开的实施例的包括各种分区的源顶点表的示例图形，其中每个分区包括顶点ID、值、关联索引和边数据。

图3A是示出根据本文公开的实施例的用于执行贪婪分区预处理步骤、并随后执行外部图形处理的主执行的技术的示例流程图。

图3B是示出根据本文公开的实施例的图3A的贪婪分区预处理步骤的附加细节的示例流程图。