[发明专利]系统间数据同步的方法

说明书

本发明涉及一种系统间数据同步的方法，所述数据上报流程包括以下步骤：1在线部署端、独立部署端配置数据类型元数据；2独立部署端发送数据；3在线部署端接收数据；4独立部署端处理响应。本发明的目的在于提供一种系统间数据同步的方法，该方法适用于票据系统中单位端独立部署系统与在线部署系统之间的数据同步，以保证同步过程的快速性、数据的完整性、不同版本间的兼容性，以及错误的可预警性。本发明的优点在于：本发明在程序内设置了业务历史变更转换器、业务区间版本转换器、表结构兼容执行器，可对不同版本的数据以及表结构进行转换，实现不同版本部署端程序的数据同步。

技术领域

本发明涉及一种系统间数据同步的方法。

背景技术

系统间“数据同步”是指系统按照约定实现系统之间相关联数据保持一致，做到系统间数据信息的共享以及数据同步更新的及时性。数据同步的实现方案很多，比如文件传输方式、分布式缓存系统或者系统间订阅/发布机制等等。

传统的解决方案都很难同时解决传输性能、数据完整性、版本兼容性、错误监控预警等方面的所有问题，大大影响了企业级系统应用的可用性。

原有的数据上报分为好几个步骤(参见图1)，独立部署先导出文件，之后通过定时调度将文件上传到在线，在线通过定时调度查找到文件后，写入数据库。这其中环节多，缺少机制来定位出问题的环节，如：

1.无法知晓当前同步状态，出问题定位困难；2.缺乏预警，多数的数据同步系统，出现问题都是人工发现排查的，缺乏及时性，无法快速修复；3.编写同步相关代码困难，同步代码耦合度高，增加一个新的同步类型，都需要调整核心业务代码；4.无关联的数据之间会互相影响，只要有一个数据类型上报失败，其他的数据也无法上报；5.数据结构无版本化控制，不同版本的兼容性存在问题。

发明内容

本发明的目的在于提供一种系统间数据同步的方法，该方法适用于票据系统中单位端独立部署系统与在线部署系统之间的数据同步，以保证同步过程的快速性、数据的完整性、不同版本间的兼容性，以及错误的可预警性。

本发明的目的通过如下技术方案实现：一种系统间数据同步的方法，它包括数据上报流程以及数据下拉流程；所述数据上报流程包括以下步骤：步骤1：在线部署端、独立部署端配置数据类型元数据：根据在线部署端和独立部署端所处程序版本分别配置数据类型元数据；步骤2：独立部署端发送数据：独立部署端先获取本地数据类型元数据，通过数据类型元数据找到对应的同步器，调用同步器的导出数据方法获取相应类型数据，再获取数据类型中对应表结构元数据，一并发送到在线部署端；步骤3：在线部署端接收数据：在线部署端接收到独立部署端发送的数据，首先获取在线部署端本地版本元数据，对比独立部署端发送数据中的版本信息完成数据转换，再通过比较在线部署端和独立部署端的表结构元数据完成表结构的兼容性操作；通过数据类型元数据找到对应的同步器，调用同步器的导入数据方法将转换后的数据导入至数据库中，并记录同步日志；步骤4：独立部署端处理响应：独立部署端处理在线部署端返回的结果，记录同步日志以及同步位置。

较之现有技术而言，本发明的优点在于：

1.本发明在程序内设置了业务历史变更转换器、业务区间版本转换器、表结构兼容执行器，可对不同版本的数据以及表结构进行转换，实现不同版本部署端程序的数据同步。

2.定义的数据类型元数据，包含了数据版本，可以选择指定版本的同步器或者同步器适配不同版本的，并且同步模块必须时高度内聚，高度模块化的，支持快速升级。

3.在同步器上做多层抽象，实现并行处理同步器，增量缓存同步器，全量表同步器，增量表同步器等，绝大多数同步作业只需在数据库配置表中配置即可，无需额外的编码。

4.设置时间缓冲区或版本缓冲区，在处理业务并发量较大、实时性要求比较高的事务时，可避免数据的丢失。