[发明专利]一种数据一致性处理方法和系统

说明书

技术领域

本发明主要涉及数据处理技术领域，更具体地说是涉及一种数据一致性处理方法和系统。

背景技术

经研究发现，在数据抽取、清洗转换过程中，为了保证数据的一致性，通过需要工作人员花费大量时间进行数据比对，当发现源数据库中的数据与目标数据库中的数据不一致时，及时检查导致数据不一致的原因，并对其进行局部处理，以使源数据库中的数据与目标数据库中数据的一致，从而保证了所构建的目标数据库的质量。

但是，现有的这种数据一致性处理方式通常是由工作人员手写比对任务，并针对该比对任务编写比对语句后，利用该比对语句对源系统和目标系统中的比对信息进行一一比对，发现一处问题修正一处，费时费力，尤其是在面对海量数据的抽取、清洗转换时，大大影响了工作效率；而且，在比对过程中，若比对任务发生一点改变，需要花费较大的精力和时间去修改之前的比对语句，比对过程繁琐且准确性低。

发明内容

有鉴于此，本发明提供了一种数据一致性处理方法和系统，实现了数据一致性的自动处理，无需人工进行一一比对和处理，大大提高了工作效率。

为了实现上述目的，本申请提供了以下技术方案：

一种数据一致性处理方法，包括：

将源系统和目标系统的当前比对信息导入配置表，确定当前比对任务；

根据用户输出的操作指令，获取所述当前比对任务的比对方式和调度参数；

按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果；

生成数据报告并输出，所述数据报告包括所述当前比对任务名单、所述当前比对任务的比对方式、比对时间以及所述比对结果。

优选的，当所述当前比对信息包括所述源系统的源库表和所述目标系统的目标库表，且所获取的比对方式为精确比对时，所述按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果包括：

根据接收到的用户输入的当前比对字段，从所述当前比对信息中获取源库表和目标库表，其中，所述当前比对字段包括源表字段和目标表字段；

将所述源库表中的主键与所述源表字段进行拼接得到源字符串，并将所述目标系统中的主键与所述目标表字段进行拼接得到目标字符串；

利用预存加密算法分别对所述源字符串和所述目标字符串进行处理，得到分别与所述源字符串和所述目标字符串一一对应的hash值；

将得到的与所述源字符串对应的hash值和与所述目标字符串对应的hash值进行比较。

优选的，所述生成数据报告并显示，具体为：

当与所述源字符串对应的hash值和与所述目标字符串对应的hash值不一致时，计算不一致的比对数据量在所述当前对比任务总量中所占百分比；

显示所述源库表和所述目标库表中不一致的比对数据以及所述百分比。

优选的，当所获取的比对方式为自定义比对时，所述按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果包括：

按照所述调度参数以及预存的SQL程序，执行所述当前比对任务，得到所述当前比对任务的比对结果，其中，所述SQL程序是根据用户确定的对比内容而编写的。

优选的，当所获取的比对方式为一般比对时，所述按照所述调度参数和所述比对方式，执行所述当前比对任务，得到所述当前比对任务的比对结果包括：

按照所述调度参数和预设对比条件，对所述源系统和目标系统的当前比对信息中满足所述预设比对条件的数据进行比较；

确定所述源系统的当前比对信息中满足所述预设比对条件的数据与所述目标系统的当前比对信息中满足所述预设比对条件的数据的差值；

则将所述比对结果生成数据报告，并显示所述数据报告具体为：

当所述差值超出预设误差范围时，显示所述源系统和所述目标系统的当前比对数据。

优选的，当所述比对结果为所述源系统的与所述目标系统的比对数据不一致时，还包括：

确定所述源系统的与所述目标系统的当前比对信息中不一致数据的数据量；

将所确定的不一致数据的数据量与预设数据阈值进行比较；

当所述不一致数据的数据量小于所述预设数据阈值时，将所有的不一致数据保存到预设的临时表中；

当接收到用户输出的调取指令时，调取所述临时表中的不一致数据并通过前台数据调用窗口显示。

一种数据一致性处理系统，包括：

导入模块，用于将源系统和目标系统的当前比对信息导入配置表，确定当前比对任务；