[发明专利]一种银行业超大数据同步方法和系统

说明书

本发明提出了一种银行业超大数据同步方法和系统，该方法包括如下步骤：应用系统登记待推送数据，生成数据推送表，触发定时同步任务；查询并设置推送参数表；查询数据推送表，判断数据推送表中是否存在待推送数据，若存在，则查询出待推送数据，并关联源表，若不存在，则结束任务；根据所述推送参数表，将所述待推送数据转化为对应推送格式后，发布至消息队列；通过clickhouse消息队列引擎解析消息队列数据，并转发至消息队列表中；通过clickhouse物化视图读取消息队列表中接收的数据，并根据数据转化规则，将数据写入目标数据表中存储。本发明适用于银行业务系统超大数据处理，为数据分析处理提供了有效的解决方案。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种银行业超大数据同步方法和系统。

背景技术

随着互联网银行业务的拓展、获客渠道的增加，银行客户规模逐步增加。同时存款、贷款产品不断推出，银行业务系统中的每日数据增量与日俱增，如存款中的交易明细数量、贷款中的放款环境数据明细，单日单表增量就已达几百万甚至千万。数据长期积累，单表数据量级已远超亿级。一方面，大数据量增加了银行成本，又无法作为历史数据清除，另一方面银行柜面系统或者其他系统进行历史查询时，数据库数据量限制了应用查询效率，导致客户体验下降。超大数据已成为银行系统的一大风险与挑战。因此，为解决超大数据的查询效率与存储，需要给出一套有效的方案。

目前，已知的超大数据处理方案，一般是通过创建临时表或者分表分库方法，但此类方法应对超大数据对性能有一定挑战；或者是通过银行大数据的一些系统汇总抽取数据，应用系统只保留近期数据，以此来减轻应用系统的查询压力和存储压力，但此类方法不足以满足业务人员的需求，需要查询历史数据时，流程复杂且时效性低。因此，银行内无论是存款业务还是贷款业务或是其他业务都面临着超大数据存储和查询的难题，如何保证数据的高可用，即面对亿级数据，保证高效的数据查询；如何在数据库宕机时，可以有数据副本可供查询；如何在数据不缺失的情况下，进一步降低数据存储空间等。

发明内容

鉴于上述问题，本发明提供了一种银行业超大数据同步方法和系统。

为解决上述技术问题，本发明采用的技术方案是：一种银行业超大数据同步方法，包括如下步骤：S101，应用系统登记待推送数据，生成数据推送表，触发定时同步任务；S102，查询并设置推送参数表，所述推送参数表包括单次推送笔数、推送数据格式、消息队列集群配置和主题配置；S103，查询数据推送表，判断所述数据推送表中是否存在待推送数据，若存在，则查询出待推送数据，并关联源表，若不存在，则结束任务；S104，根据所述推送参数表，将所述待推送数据转化为对应推送格式后，发布至消息队列；S105，通过clickhouse消息队列引擎解析消息队列数据，并转发至消息队列表中；S106，通过clickhouse物化视图读取所述消息队列表中接收的数据，并根据数据转化规则，将数据写入目标数据表中存储。

作为优选方案，还包括对所述目标数据表中的数据进行合并，具体为：S201，确定所述目标数据表的排序键和版本列；S202，根据所述版本列格式合并数据，当版本列格式为无符号int类型时，保留同一唯一索引的版本列最大的数据；当版本列格式为Date或DateTime类型时，保留版本列日期靠后的数据；S203，根据排序键检查是否存在多条相同数据的记录，若存在，则保留最后插入目标数据表中的数据，若不存在，则直接结束。

作为优选方案，还包括脏数据处理流程，所述脏数据为clickhouse消息队列引擎无法解析的消息队列数据，具体为：S301，确定消息队列数据解析失败的分区及消费者偏移量；S302，在clickhouse客户端上使用DETACH命令，卸载消费者队列表和物化视图；S303，在消费者队列集群上手动执行消息队列命令，重置消费者偏移量；S304，在clickhouse客户端上使用ATTACH命令，上线消费者队列表和物化视图；S305，执行数据补推送流程。