[发明专利]实现异构系统数据定时同步的装置和方法

说明书

技术领域

本发明涉及数据处理技术领域，具体而言，涉及实现异构系统数据定时同步的装置和方法。

背景技术

随着企业的发展，企业为了提高管理水平，企业内部使用了很多的信息化系统，如CRM(Customer Relationship Management，客户关系管理)系统、企业管理系统、数据仓库系统及分销系统等，且各个系统都是独立运行。企业内部存在多个信息系统数据不能共享，在分销行业的批发零售过程中，企业希望自己的商品在各个系统中命名规则都统一，用户的订单信息能在不同系统中进行同步，并实现商品和订单数据自动从一个系统同步到另一个系统。在企业的实际运营中，各个系统之间经常需要进行数据同步，以保证各个系统中所储存的信息是一致的。例如在家电行业商品的批发零售中，经销商通过厂商的CRM系统下订单，供应商审批后给经销商发货。经销商收到货后还得重新填写订单，增加了经销商的工作量。厂商希望统一它们的商品，当经销商的订单审批后，通过分销系统下发给经销商，减少了经销商重复填写订单的工作量，但不同信息系统的数据结构又不尽相同。因此，需要一种装置，用于实现基础档案(如商品、计量单位等)和订单数据从CRM系统同步到分销系统，然后再通过分销平台把收集到的数据分发给各经销商。

相关技术方案中，当需要同步的数据达到一定的规模时，就很难正确完成数据同步，数据同步的安全性，数据的并发性也难以保证。即使同步成功，数据解析的效率也有明显的问题。

由于相关大部分技术方案都采用XML进行数据传输，当用户传输的数据量比较少的情况下，对网络影响和数据的解析都不会有太大的影响。当数据量达到几十兆、甚至上百兆时，生成的XML文件过大，而XML需要加载到内存中操作，对内存的影响很大，解析速度非常慢，严重影响产品的正常使用。

相关其它的数据同步方法及装置，往往也只考虑了网络断开的情况，没有考虑数据传输的安全性，传输过程中用户并发数控制，数据传输的效率及对生产环境的影响等。

因此，目前需要解决的问题主要包括：解决异构数据库中的大数据同步的效率问题；解决数据的定时自动同步问题；解决数据同步的安全问题；解决增量数据同步问题；解决中间表的数据自动抽取问题。

另外，有发明者发明过一个数据同步处理方法及装置，这种数据同步装置的实现方法如下：

实现一个数据源监控器，用来监控参考数据源与目标数据源之间的通信状态；

变更状态记录单元，当通讯中断时，用来记录参考数据源的变更状态；

数据同步单元，当通讯状态正常时，根据参考数据源的变更状态，把参考数据源中的变更数据同步到目标数据源；

实现业务监听器，用来监听参考数据源的数据变化；

实现映射控制器，用来管理和查找参考数据源中的数据与目标数据源的数据的对应关系；

数据导入单元，把原数据中的变更数据导入到目标数据源；

数据转换器，用来将参考数据源中的数据结构转换为目标数据源的数据结构。

但是，这个数据通过方法和装置的分析存在几个关键的技术问题：数据的导入的安全性存在隐患，任何一个数据库用户都可以对数据进行同步；数据的更改没有办法跟踪控制；数据的同步对生产环境影响较大，每次数据同步时，都要去检查目标数据库的数据源，造成对生产环境的数据访问冲突；数据的并发冲突，当数据导入时，用户需要访问导入的数据，这样容易造成并发冲突；数据处理的效率较差。

由于相关的发明存在诸多的问题，不能满足我们的需求，因此，需要一种新的数据同步技术，以实现更高效更安全的数据同步，并能有效的防止并发冲突，提高系统运行的效率及可靠性。

发明内容

本发明所要解决的技术问题在于，提供一种数据同步装置和同步方法，以实现更高效更安全的数据同步，并能有效的防止并发冲突，提高系统运行的效率及可靠性。