[发明专利]基于大数据平台的数据同步处理方法、装置、设备及介质

权利要求书

1.一种基于大数据平台的数据同步处理方法，其特征在于，包括：

从业务系统中同步业务数据，将所述业务数据存储在目标数据库中，每一所述业务数据对应一种数据类型；

采用与所述数据类型相对应的数据校验逻辑，对所述业务数据进行数据校验，获取数据校验结果；

若所述数据校验结果为校验成功，则从所述业务数据中提取与所述数据类型相对应的制证数值，根据所述制证数值生成与所述业务数据相对应的目标凭证；

将所述目标凭证与所述目标数据库中的已有凭证进行重复验证，获取重复验证结果；

若所述重复验证结果为不存在重复凭证，则将所述目标凭证与所述业务数据关联存储到所述目标数据库中。

2.如权利要求1所述的基于大数据平台的数据同步处理方法，其特征在于，在所述将所述目标凭证与所述目标数据库中的已有凭证进行重复验证，获取重复验证结果之后，所述基于大数据平台的数据同步处理方法还包括：

若所述数据校验结果为校验失败，或者所述重复验证结果为存在重复凭证，则对所述业务数据对应的目标日志进行分析，获取目标异常类型，执行与所述目标异常类型相对应的纠错处理逻辑。

3.如权利要求1所述的基于大数据平台的数据同步处理方法，其特征在于，所述从业务系统中同步业务数据，将所述业务数据存储在目标数据库中，包括：

执行数据同步任务，所述数据同步任务包括源数据库信息、目标数据库信息和源数据表信息；

基于所述源数据库信息和所述目标数据库信息，构建所述业务系统的源数据库和所述大数据平台的目标数据库之间的OGG通信链路；

根据所述源数据库信息、所述目标数据库信息和所述源数据表信息，确定目标建表脚本和目标同步脚本；

执行所述目标建表脚本，在所述目标数据库中创建与所述目标数据表；

执行所述目标同步脚本，通过所述OGG通信链路，将所述源数据表信息对应的源数据表中的业务数据同步到所述目标数据表中。

4.如权利要求1所述的基于大数据平台的数据同步处理方法，其特征在于，在所述从业务系统中同步业务数据，将所述业务数据存储在目标数据库中之前，所述基于大数据平台的数据同步处理方法还包括：

获取脚本创建请求，所述脚本创建请求包括源数据库信息、目标数据库信息和源数据表信息；

基于所述源数据表信息，获取所述源数据表信息对应的源数据表的全表字段信息；

采用建表脚本创建工具对所述源数据表的全表字段信息进行处理，获取目标建表脚本；

采用同步脚本创建工具，对所述源数据库信息、所述目标数据库信息和所述源数据表对应的全表字段信息进行处理，获取目标同步脚本；

将所述源数据库信息、所述目标数据库信息、所述源数据表信息、所述目标建表脚本和所述目标同步脚本关联存储。

5.如权利要求1所述的基于大数据平台的数据同步处理方法，其特征在于，所述采用与所述数据类型相对应的数据校验逻辑，对所述业务数据进行数据校验，获取数据校验结果，包括：

执行与所述数据类型相对应的取数逻辑，从所述业务数据中选取待处理数据；

对所述待处理数据进行形式校验，获取形式校验结果；

若所述形式校验结果为校验通过，则对所述待处理数据进行内容校验，获取内容校验结果；

若所述内容校验结果为校验通过，则对所述待处理数据进行数据一致性校验，获取一致性校验结果；

若所述一致性校验结果为校验通过，则获取校验成功的数据校验结果。

6.如权利要求1所述的基于大数据平台的数据同步处理方法，其特征在于，所述从所述业务数据中提取与所述数据类型相对应的制证数值，根据所述制证数值生成与所述业务数据相对应的目标凭证，包括：

调用应用层封装的实体对象调用接口，选取与所述数据类型相对应的关键字段对应的制证数值，采用MD5算法对所述制证数值进行处理，生成与所述业务数据相对应的目标凭证。