[发明专利]一种基于图覆盖的大数据全比较的数据分配方法及系统

说明书

本发明公开一种基于图覆盖的大数据全比较的数据分配方法及系统，所述数据分配方法包括：将M个待处理数据文件抽象为图的顶点，任意两个待处理数据文件之间的比较计算抽象为图的边，将M个待处理数据文件的全比较计算映射为一个完全图G_M；将完全图G_M划分为N个诱导图，且各诱导图的联合能够覆盖完全图G_M以及使max{|V₁|,|V₂|,...,|V_N|}最小化；根据各诱导图确定最优覆盖解；根据所述最优覆盖解，依次将待处理数据分配到各计算节点。本发明通过待处理数据文件抽象为图的顶点，比较计算抽象图的边，从而将待处理数据文件的全比较计算映射为一个完全图，将图覆盖方法引入，来解决全比较计算的数据分配问题，并进一步通过划分诱导图确定最优覆盖解，实现数据分配的全局最优性。

技术领域

本发明涉及大数据分布式计算的数据分配技术领域，特别是涉及一种基于图覆盖的大数据全比较的数据分配方法。

背景技术

全比较是一类特殊的计算问题，广泛存在于生物信息学、生物测定学、数据挖掘等领域。在生物信息学中，谱系关系通过比较不同物种的基因序列来做推断。在生物测定学的研究中，一个典型的全比较问题是通过对生物测定学数据库中的大量数据进行成对比较来识别人的生理特征，如面部识别，指形判断，手掌扫描。在数据挖掘中，相似矩阵的计算是分类和聚类分析中的一个关键步骤，相似矩阵表示被考虑对象之间的相似度。序列比对，聚类分析，以及当前的研究热点全局网络比对都属于计算生物学和生物信息学中典型的全比较计算问题。

全比较计算代表了一种典型的计算模式，即数据集中的每个数据都要和该数据集中的其它所有的数据做一次比较计算。当数据集中的文件个数或者文件所包含的数据变大时，全比较计算的规模随之变大。当前，针对一些特定领域的全比较问题，已经提出了解决方法，如著名的BLAST和ClustalW。此外，分布式系统，如开源的分布式处理框架Hadoop，被广泛地用于解决大规模的数据密集型的计算问题，包括全比较计算。在最近的几年里，有人提出，把全比较计算的数据分配问题抽象为带约束条件的组合优化问题，并利用启发式算法来求最优解。

但是，现有的方法要求系统中的每个节点上存储所有的数据文件，严重地增加了时间开销和通信成本，而且需要巨大的存储空间。此外，Hadoop的数据分配策略，由于没有考虑比较任务和数据之间的依赖关系，因此，对于全比较计算效率低。和Hadoop相比，基于启发式算法的数据分配策略，提高了整体的计算性能。但是，随着数据量的增大，解空间的变大，问题规模呈指数级增长。此外，启发式算法无法保证解的全局最优性。

发明内容

本发明的目的是提供一种基于图覆盖的大数据全比较的数据分配方法及系统，可确保数据分配的全局最优性。

为实现上述目的，本发明提供了如下方案：

一种基于图覆盖的大数据全比较的数据分配方法，所述数据分配方法包括：

将M个待处理数据文件抽象为图的顶点，任意两个待处理数据文件之间的比较计算抽象为图的边，将M个待处理数据文件的全比较计算映射为一个完全图G_M；所述完全图为每对顶点之间连接有一条边形成的图；

将完全图G_M划分为N个诱导图，分别为G(V₁),G(V₂),...,G(V_N)，且各诱导图的联合能够覆盖完全图G_M以及使max{|V₁|,|V₂|,...,|V_N|}最小化；其中，V表示点集合，|V_N|表示第N个诱导图中点集合中的点的个数；

根据各诱导图确定最优覆盖解；

根据所述最优覆盖解，依次将待处理数据分配到各计算节点。