[发明专利]基于数据特征码的大文件比对方法以及比对系统

说明书

本发明涉及基于数据特征码的大文件比对方法及其比对系统。本发明的方法包括下述步骤：特征码提取比对步骤，对大文件提取数据特征码，按照所述数据特征码生成特征码文件，比对所述特征码文件是否一致；文件拆分步骤，在所述特征码文件的比对结果为一致的情况下，基于上述特征码文件将所述大文件进行拆分以生成拆分后的N个子文件；子文件比对步骤，并发对所述N个子文件进行比对；以及结果合并步骤，将所述子文件比对步骤的比对结果进行合并。根据本发明，能够提高数据处理效率，对资源要求不高，即使在配置较低的机器上也能正常运行。

技术领域

本发明涉及大数据处理技术，具体地涉及基于数据特征码的大文件比对方法以及比对系统。

背景技术

批量处理系统（比如跨行清算系统），往往生成很大量的流水文件。版本上线前，往往会进行新旧系统版本的结果输出进行内容比对。其中，如果相同交易的记录只要一样，即使记录顺序不一样，也认为是相同，面对如此大的文件（单个文件大小就将达到数GB），现有工具往往无法处理，会产生比如内存耗光导致系统宕机的情况。

发明内容

鉴于上述问题，本发明旨在提供一种处理效率高、对配置资源要求不高，即使在配置较低的机器上也能够轻松完成大文件的比对的基于数据特征码的大文件比对系统以及比对方法。

本发明的基于数据特征码的大文件比对方法，其特征在于，包括下述步骤：

特征码提取比对步骤，对大文件提取数据特征码，按照所述数据特征码生成特征码文件，比对所述特征码文件是否一致；

文件拆分步骤，在所述特征码文件的比对结果为一致的情况下，基于上述特征码文件将所述大文件进行拆分以生成拆分后的N个子文件；

子文件比对步骤，并发对所述N个子文件进行比对；以及

结果合并步骤，将所述子文件比对步骤的比对结果进行合并。

优选地，所述特征码提取比对步骤包括下述子步骤：

对大文件提取数据特征码；

对生成的数据特征码进行去重；

按照所述去重后的数据特征码生成特征码文件；

比对所述特征码文件是否一致，在所述特征码文件一致的情况下进行所述文件拆分步骤，否则结束处理。

优选地，所述特征码提取比对步骤包括下述子步骤：

对大文件的记录进行规定算法变换；

对规定算法变换后的记录提取数据特征码；

对生成的数据特征码进行去重；

按照所述去重后的数据特征码生成特征码文件；

比对所述特征码文件是否一致，在所述特征码文件一致的情况下进行所述文件拆分步骤，否则结束处理。

优选地，所述文件拆分步骤包括下述子步骤：

将所述特征码文件拆分成N个具有相同记录数的N个子特征码文件；以及

将所述大文件中匹配所述N个子特征码文件的记录进行均匀拆分以生成N个拆分后的子文件。

优选地，在所述子文件比对步骤中，并发对所述N个子文件进行比对。

优选地，在所述结果合并步骤中，将所述子文件比对步骤的N个子文件的比对结果进行合并。

本发明的基于数据特征码的大文件比对系统，其特征在于，具备：

特征码提取比对模块，用于对大文件提取数据特征码，按照所述数据特征码生成特征码文件，比对所述特征码文件是否一致；