[发明专利]基于数据特征码的大文件比对方法以及比对系统

权利要求书

1.一种基于数据特征码的大文件比对方法，其特征在于，包括下述步骤：

特征码提取比对步骤，对大文件提取数据特征码，按照所述数据特征码生成特征码文件，比对所述特征码文件是否一致；

文件拆分步骤，在所述特征码文件的比对结果为一致的情况下，基于上述特征码文件将所述大文件进行拆分以生成拆分后的N个子文件，其中N为正整数；

子文件比对步骤，并发对所述N个子文件进行比对；以及

结果合并步骤，将所述子文件比对步骤的比对结果进行合并，

其中，所述文件拆分步骤包括下述子步骤：

将所述特征码文件拆分成N个具有相同记录数的N个子特征码文件；以及

将所述大文件中匹配所述N个子特征码文件的记录进行均匀拆分以生成N个拆分后的子文件。

2.如权利要求1所述的基于数据特征码的大文件比对方法，其特征在于，

所述特征码提取比对步骤包括下述子步骤：

对大文件提取数据特征码；

对生成的数据特征码进行去重；

按照所述去重后的数据特征码生成特征码文件；以及

比对所述特征码文件是否一致，在所述特征码文件一致的情况下进行所述文件拆分步骤，否则结束处理。

3.如权利要求1所述的基于数据特征码的大文件比对方法，其特征在于，

所述特征码提取比对步骤包括下述子步骤：

对大文件的记录进行规定算法变换；

对规定算法变换后的记录提取数据特征码；

对生成的数据特征码进行去重；

按照所述去重后的数据特征码生成特征码文件；以及

比对所述特征码文件是否一致，在所述特征码文件一致的情况下进行所述文件拆分步骤，否则结束处理。

4.如权利要求2或3所述的基于数据特征码的大文件比对方法，其特征在于，

在所述结果合并步骤中，将所述子文件比对步骤的N个子文件的比对结果进行合并。

5.一种基于数据特征码的大文件比对系统，其特征在于，具备：

特征码提取比对模块，用于对大文件提取数据特征码，按照所述数据特征码生成特征码文件，比对所述特征码文件是否一致；

文件拆分模块，在所述特征码提取比对模块的比对结果为一致的情况下，用于基于上述特征码文件将所述大文件进行拆分以生成拆分后的N个子文件，其中N为正整数；

子文件比对模块，用于对所述文件拆分模块输出的N个子文件进行比对；以及

结果合并模块，用于对所述子文件比对模块输出的比对结果进行合并，

其中，所述文件拆分模块用于将所述特征码文件拆分成N个具有相同记录数的N个子特征码文件并且将所述大文件中匹配所述N个子特征码文件的记录进行均匀拆分以生成N个拆分后的子文件。

6.如权利要求5所 述的基于数据特征码的大文件比对系统，其特征在于，

所述特征码提取比对模块用于对大文件提取数据特征码并对生成的数据特征码进行去重，按照所述去重后的数据特征码生成特征码文件，比对所述特征码文件是否一致，在所述特征码文件一致的情况下将结果输出到所述文件拆分模块，否则结束处理。

7.如权利要求5所 述的基于数据特征码的大文件比对系统， 其 特征在于，

所述特征码提取比对模块用于对大文件的记录进行规定算法变换，对规定算法变换后的记录提取数据特征码，对生成的数据特征码进行去重，按照所述去重后的数据特征码生成特征码文件，比对所述特征码文件是否一致，在所述特征码文件一致的情况下将结果输出到所述文件拆分模块，否则结束处理。

8.如权利要求6或7所述的基于数据特征码的大文件比对系统，其特征在于，

所述子文件比对模块并发对所述N个子文件进行比对。

9.如权利要求6或7所述的基于数据特征码的大文件比对系统，其特征在于，

所述结果合并模块将所述子文件比对模块输出的N个子文件的比对结果进行合并。