[发明专利]一种数据处理方法、装置及计算机可读存储介质

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置及计算机可读存储介质。

背景技术

目前，对于需要多个数据源共同配合来实现某项业务的情况，这些相互配合的数据源中某些数据需要保持一致。为了保证数据的完整性和一致性，需要对相互配合的多个数据源中的数据进行稽核修复。

目前，对多个数据源中的数据进行稽核修复的方法包括：为各个数据源建立备份数据库，按照预设周期(如一天)将数据源中的数据同步备份到与之对应的备份数据库中，然后基于各备份数据库中的数据进行数据稽核，进而根据稽核结果，对数据源中的数据进行数据修复。

但是，由于数据稽核操作是以天为单位在备份环境中进行的，即数据稽核操作是离线进行的，导致数据稽核的实时性较低，影响数据稽核的准确性。因此，基于备份数据库得到的数据稽核结果是不准确的，无法真实反应各数据源中的数据一致性，进而根据备份数据库得到的稽核结果对数据源中的数据进行数据修复之后，仍然无法确保各数据源中数据的一致性与准确性。

发明内容

有鉴于此，本发明实施例期望提供一种数据处理方法、装置及计算机可读存储介质，能够保证至少两个数据源的数据的一致性与准确性。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种数据处理方法，所述方法包括：

从至少两个数据源中在线获取待稽核数据；

基于预设稽核规则，对所述待稽核数据进行稽核；

将稽核未通过的数据确定为待修复数据，以及，按照预设修复顺序，对所述待修复数据进行修复。

上述方案中，所述从至少两个数据源中在线获取待稽核数据，包括：

确定预先存储的与所述待稽核数据对应的元数据；

根据所述元数据，从所述至少两个数据源中获取与所述元数据对应的所述待稽核数据。

上述方案中，所述方法还包括：

根据预设采集规则，从所述至少两个数据源中获取所述元数据；

和/或，接收所述至少两个数据源推送的所述元数据。

上述方案中，所述基于预设稽核规则，对所述待稽核数据进行稽核，包括：

根据所述预设稽核规则，判断所述待稽核数据在所述至少两个数据源中是否一致；

若一致，则确定所述待稽核数据通过稽核；否则，确定所述待稽核数据未通过稽核。

上述方案中，所述方法还包括：

判断所述待修复数据是否修复成功；

当确定所述待修复数据未修复成功时，对所述待修复数据进行再次修复；

当对所述待修复数据的修复次数大于预设修复次数时，生成报警消息；所述报警消息表征所述待修复数据无法进行修复。

上述方案中，所述判断所述待修复数据是否修复成功，包括：

判断修复后的所述待修复数据在所述至少两个数据源中是否一致；

若一致，确定所述待修复数据修复成功；否则，确定所述待修复数据未修复成功。

本发明实施例提供一种数据处理装置，所述装置包括：

获取模块，用于从至少两个数据源中在线获取待稽核数据；

稽核模块，用于基于预设稽核规则，对所述待稽核数据进行稽核；

修复模块，用于将稽核未通过的数据确定为待修复数据，以及，按照预设修复顺序，对所述待修复数据进行修复。

上述方案中，所述获取模块，具体用于确定预先存储的与所述待稽核数据对应的元数据；根据所述元数据，从所述至少两个数据源中获取与所述元数据对应的所述待稽核数据。

上述方案中，所述装置还包括：

采集模块，用于根据预设采集规则，从所述至少两个数据源获取所述元数据；和/或，接收所述至少两个数据源推送的所述元数据。

上述方案中，所述稽核模块，具体用于根据所述预设稽核规则，判断所述待稽核数据在所述至少两个数据源中是否一致；若一致，则确定所述待稽核数据通过稽核；否则，确定所述待稽核数据未通过稽核。

上述方案中，所述装置还包括：

报警模块，用于判断所述待修复数据是否修复成功；当确定所述待修复数据未修复成功时，对所述待修复数据进行再次修复；当对所述待修复数据的修复次数大于预设修复次数时，生成报警消息；所述报警消息表征所述待修复数据无法进行修复。

上述方案中，所述报警模块，具体用于判断修复后的所述待修复数据在所述至少两个数据源中是否一致；若一致，确定所述待修复数据修复成功；否则，确定所述待修复数据未修复成功。