[发明专利]一种银行业超大数据同步方法和系统

权利要求书

1.一种银行业超大数据同步方法，其特征在于，包括如下步骤：

S101，应用系统登记待推送数据，生成数据推送表，触发定时同步任务；

S102，查询并设置推送参数表，所述推送参数表包括单次推送笔数、推送数据格式、消息队列集群配置和主题配置；

S103，查询数据推送表，判断所述数据推送表中是否存在待推送数据，若存在，则查询出待推送数据，并关联源表，若不存在，则结束任务；

S104，根据所述推送参数表，将所述待推送数据转化为对应推送格式后，发布至消息队列；

S105，通过clickhouse消息队列引擎解析消息队列数据，并转发至消息队列表中；

S106，通过clickhouse物化视图读取所述消息队列表中接收的数据，并根据数据转化规则，将数据写入目标数据表中存储；

还包括对所述目标数据表中的数据进行合并，具体为：

S201，确定所述目标数据表的排序键和版本列；

S202，根据所述版本列格式合并数据，当版本列格式为无符号int类型时，保留同一唯一索引的版本列最大的数据；当版本列格式为Date或DateTime类型时，保留版本列日期靠后的数据；

S203，根据排序键检查是否存在多条相同数据的记录，若存在，则保留最后插入目标数据表中的数据，若不存在，则直接结束；

还包括脏数据处理流程，所述脏数据为clickhouse消息队列引擎无法解析的消息队列数据，具体为：

S301，确定消息队列数据解析失败的分区及消费者偏移量；

S302，在clickhouse客户端上使用DETACH命令，卸载消费者队列表和物化视图；

S303，在消费者队列集群上手动执行消息队列命令，重置消费者偏移量；

S304，在clickhouse客户端上使用ATTACH命令，上线消费者队列表和物化视图；

S305，执行数据补推送流程；

所述数据补推送流程，包括：

S401，根据推送状态字段确定待推送数据；

S402，根据待推送数据主键或唯一索引，判断待推送数据是否在数据推送表中，若是，则执行步骤S403，若否，则执行步骤S404；

S403，判断待推送数据状态是否为未推送，若是，则执行步骤S406，若否，则执行步骤S405；

S404，查询源表中待推送数据，登记数据推送表；

S405，更新数据推送表数据推送状态为待推送；

S406，定时同步任务启动执行数据推送；

还包括数据迁移流程，具体为：

S501，查询推送参数表，判断是否为一次性迁移；

S502，若为一次性迁移，则确定存量数据及存量数据所在分区；

S503，建立存量数据导出临时目录，并给当前数据库用户授权；

S504，根据分区数和临时目录，创建UTLFILE文件导出存储过程；

S505，执行存储过程，导出CSV数据，并将CSV数据导入至clickhouse客户端；

S506，若为非一次性迁移，则建立存量数据推送的定时同步任务；

S507，定时同步任务启动后，查询推送参数表，确定数据推送范围和起始日期；

S508，将待推送存量数据插入数据同步表中，等待定时同步任务发起推送。

2.根据权利要求1所述的银行业超大数据同步方法，其特征在于，在步骤S502中，每次导出存量数据在100个分区以内，根据准备导出存量数据所在分区总数，确定导出次数及范围。

3.根据权利要求1所述的银行业超大数据同步方法，其特征在于，所述推送格式包括JSONEachRow格式、CSV格式、TabSeparated格式；

当推送格式为JSONEachRow格式时，将数据按json格式转化；

当推送格式为CSV格式时，将每一列数据按逗号分隔；

当推送格式为TabSeparated格式时，将数据格式转化为每行包含由制表符分隔的值，每个值后跟一个制表符。

4.根据权利要求1所述的银行业超大数据同步方法，其特征在于，所述数据推送表上登记源表主键或唯一索引，且数据推送表上的数据数量与源表一致。