[发明专利]图数据划分方法及装置

说明书

本发明公开了一种图数据划分方法及装置，其中，该方法包括根据图定义的数据和计算模型UPPS对算法进行建模；通过二维数据划分方法对建模中的数据进行划分，并获取划分后冗余度最小的数据；根据估测公式估测确定最佳的第三维层数；以及根据冗余度最小的数据对第三维层数的每一层进行划分，获得数据的分布方式。该方法实现了通过增加适量的层间通讯量减少每一层内数据划分块数，减少分布式图数据处理时的通讯量，提升计算效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种图数据划分方法及装置。

背景技术

随着图数据在数据量和重要性上的不断增长，分布式的图数据处理引擎逐渐成为一种主流的解决方案。这一需求驱使着工业界和学术界的许多开发人员及研究人员研发了许多多种多样的图并行处理框架，包括Pregel、PowerGraph、GraphX等等。由于这些系统提供了一种简单有效的编程接口使得程序员们可以无缝的将他们的程序扩展到多机环境，这些原本为了图计算设计的系统目前不仅仅被用于传统的图分析，还被用于许多可以用图进行建模的机器学习和数据挖掘任务。

例如Collaborative Filtering这一类数据挖掘问题的目的在于通过已知的用户对物品的打分集合来预测未知的部分。这一问题最早是用矩阵进行描述的。如图1所示，简单地说，给定一个大小为N*M的稀疏矩阵R，求解的目的为将R分解成两个低维稠密矩阵P和Q的乘积(P和Q的大小分别为N*D以及M*D，并且R约等于P*Q^T其中D远小于N和M)。相对的，同样可以用图模型对这一问题进行描述，其中P和Q的每一行分别对应于一张二分图中的点。每一个点的属性都是一个长度为D的向量，而打分矩阵R则对应于边的分数。换句话说用户u对物品v的打分为Ruv的话，则u和v之间的边权值为Ruv。

随着对机器学习和数据挖掘任务中大型图数据进行分析这一需求的增长，许多之前未曾被考虑到的问题也随之出现。根据近期的一些研究，为了能够高效地处理图数据，一个关键的研究点就是如何减少图处理时的通讯量。因此，一个分布式图处理引擎需要非常小心的选择他使用的任务划分算法。然而，根据调查，目前已有的图处理引擎基本都忽略了机器学习和数据挖掘任务的特性而认为图中每一个点的属性都是不可分的，因此将图计算的任务划分简单地等价为了一般的图划分问题。可是，正如Collaborative Filtering这一类数据挖掘问题那样，在很多的时候每一个点的属性实际上是一个向量。虽然这一向量的长度一般并不大，需要一种新的维度对图进行划分，解决通讯量问题。

发明内容

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种图数据划分方法。该方法实现了通过增加适量的层间通讯量减少每一层内数据划分块数，减少分布式图数据处理时的通讯量，提升计算效率。

本发明的第二个目的在于提出了一种图数据划分装置。

为达上述目的，本发明第一方面实施例的图数据划分方法，根据图定义的数据和计算模型UPPS(Update Push Pull Sink)对算法进行建模；通过二维数据划分方法对所述建模中的数据进行划分，并获取划分后冗余度最小的数据；根据估测公式估测确定最佳的第三维层数；以及根据所述冗余度最小的数据对所述第三维层数的每一层进行划分，获得数据的分布方式。

本发明实施例的图数据划分方法，根据图定义的数据和计算模型对算法进行建模，通过二维数据划分方法对建模中的数据进行划分，并获取划分后冗余度最小的数据，再根据估测公式估测确定最佳的第三维层数，最后根据冗余度最小的数据对第三维层数的每一层进行划分，获得数据的分布方式。该方法实现了通过增加适量的层间通讯量减少每一层内数据划分块数，减少分布式图数据处理时的通讯量，提升计算效率。