[发明专利]数据处理方法、装置、电子设备和存储介质

说明书

本申请提供一种数据处理方法、装置、电子设备和存储介质，该方法包括：读取各数据源的数据，并抽取各所述数据源的每条数据的比对数据，以及与所述比对数据对应的详情数据，所述比对数据用于表征每条所述数据的关键字段，所述详情数据用于表征所述比对数据表征的关键字段的详情信息，所述关键字段的详情信息用于表征所述关键字段对应的详细字段和存储位置；对各所述数据源中的比对数据进行比对，若存在关键字段不同的差异比对数据，则根据所述差异比对数据对应的详情数据，确定所述差异比对数据表征的关键字段的详情信息；显示所述差异比对数据表征的关键字段的详情信息。该数据处理方法能够提高数据处理效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备和存储介质。

背景技术

互联网财险交易的特点是每个订单的金额小、订单量大，因此数据处理系统采用分布式架构，以提高数据处理的效率。该种场景下较传统的单一架构，数据经过更多的流转、交互。例如，互联网财险交易的数据处理系统不仅包括承保、风控、财务等业务子系统，还包括缓存、消息队列等中间件，每个节点都可能因为程序问题、硬件/网络故障等问题，导致各节点之间数据不一致，从而出现风险失控、业财数据不一致等问题。这些问题不仅会造成财务损失，而且会引入巨大的核对、分析、处理工作量。因此，定期的、自动的将各节点(数据源)的数据进行核对尤为必要。

现有技术核对各数据源中的数据的方式为：将各数据源中存储的数据全部写入到一个公共的比对库，在该公共比对库使用表连接(join)的方式查询并导出差异数据。这种方式在数据量较少的情况下基本可行，但随着各数据源存储的数据量的增长，数据处理效率急剧下降。

发明内容

本申请提供一种数据处理方法、装置、电子设备和存储介质，能够提高数据处理效率。

本申请的第一方面提供数据处理方法，包括：

读取各数据源的数据，并抽取各所述数据源的每条数据的比对数据，以及与所述比对数据对应的详情数据，所述比对数据用于表征每条所述数据的关键字段，所述详情数据用于表征所述比对数据表征的关键字段的详情信息，所述关键字段的详情信息用于表征所述关键字段对应的详细字段和存储位置；

对各所述数据源中的比对数据进行比对，若存在关键字段不同的差异比对数据，则根据所述差异比对数据对应的详情数据，确定所述差异比对数据表征的关键字段的详情信息；

显示所述差异比对数据表征的关键字段的详情信息。

可选的，所述比对数据为比对文件，所述详情数据为详情文件，所述抽取各所述数据源的每条数据的比对数据，以及与所述比对数据对应的详情数据之后，还包括：

将各所述数据源的每条数据的比对文件，以及与所述比对文件对应的详情文件写入存储数据库。

可选的，所述将各所述数据源的每条数据的比对文件，以及与所述比对文件对应的详情文件写入存储数据库，包括：

读取各所述数据源中的每条数据的比对文件，并将已读取的数据的比对文件，以及与所述已读取的数据的比对文件对应的详情文件缓存至缓存数据库；

判断所述缓存数据库中是否已缓存各所述数据源的N条数据的比对文件，以及与各所述数据源的比对文件对应的详情文件；

若所述缓存数据库中已缓存各所述数据源的N条数据的比对文件，以及与各所述数据源的比对文件对应的详情文件，则将各所述数据源的N条数据的比对文件，以及与各所述数据源的N条数据的比对文件对应的详情文件写入所述存储数据库，并清空所述缓存数据库；

若所述缓存数据库中未缓存各所述数据源的N条数据的比对文件，以及与各所述数据源的比对文件对应的详情文件，则继续读取各所述数据源中的数据，直至所述缓存数据库中缓存各所述数据源的N条数据的比对文件，以及与各所述数据源的N条数据的比对文件对应的详情文件。