[发明专利]一种基于图覆盖的大数据全比较的数据分配方法及系统

权利要求书

1.一种基于图覆盖的大数据全比较的数据分配方法，其特征在于，所述数据分配方法包括：

将M个待处理数据文件抽象为图的顶点，任意两个待处理数据文件之间的比较计算抽象为图的边，将M个待处理数据文件的全比较计算映射为一个完全图G_M；所述完全图为每对顶点之间连接有一条边形成的图；

将完全图G_M划分为N个诱导图，分别为G(V₁)，G(V₂)，...，G(V_N)，且各诱导图的联合能够覆盖完全图G_M以及使max{|V₁|，|V₂|，...，|V_N|}最小化；其中，V表示顶点集合，|V_N|表示第N个诱导图中顶点集合中的顶点的个数；

根据各诱导图确定最优覆盖解；

根据所述最优覆盖解，依次将待处理数据分配到各计算节点，具体包括：

定义四个集合变量L₁、L₂、L₃和L₄，其中，L₁用于存放已经找到的最优覆盖解元素；L₂用于存放任意两个最优覆盖解之间的差；L₃用于存放L₁和L₂中元素的和；L₄用于存放新找到的最优覆盖解元素和已有的最优覆盖解元素的差；

进行最优覆盖解的构造，将得到的最优覆盖解进行数据的分配：

当M＝N＝n(n-1)+1，n≥2时，根据最优覆盖解进行数据分配；

当M＞N时，将各待处理数据文件均匀打包为N个区域，根据区域及最优覆盖解进行数据分配；其中，n表示各诱导图中的顶点个数。

2.根据权利要求1所述的基于图覆盖的大数据全比较的数据分配方法，其特征在于，根据以下条件确定所述各诱导图的联合能够覆盖完全图G_M：

其中，n表示各诱导图中的顶点个数，1n≤M,诱导图数量共有N个，|表示最优覆盖。

3.根据权利要求1所述的基于图覆盖的大数据全比较的数据分配方法，其特征在于，所述根据各诱导图确定最优覆盖解，具体包括：

选取符合以下条件的诱导图：

所述完全图G_M的各诱导图之间不存在公共边，且所述完全图G_M的任意一边在至少一个诱导图中；

选取的各诱导图为最优覆盖解，选取的各诱导图G_n联合为完全图G_M的最优覆盖，记为G_n|G_M；其中，n表示各诱导图中的顶点个数，1n≤M，诱导图数量共有N个。

4.根据权利要求1所述的基于图覆盖的大数据全比较的数据分配方法，其特征在于，所述进行数据分配，具体包括：

使每个计算节点上的待处理数据文件的个数为n个。