[发明专利]分布式异构数据库系统的数据同步方法及装置

说明书

本发明公开了一种分布式异构数据库系统的数据同步方法及装置，其中方法包括：获取一组或多组操作指令和操作信息，将所述操作指令和操作信息发送至第一数据库集群，所述操作指令包括：插入数据、更新数据或删除数据，所述操作信息包括：操作位置与数据值；接收第一数据库集群根据每组操作指令和操作信息修改对应操作位置处的数据后返回的操作结果；根据各操作结果，将对应的操作指令和操作信息打包为消息发出，所述消息用于对第二数据库集群中对应的操作位置进行数据同步，避免不同类型数据库系统之间无法及时感知数据的变化，有效提高数据查询与分析的准确率。

技术领域

本发明涉及计算机应用领域，尤其涉及分布式异构数据库系统的数据同步方法及装置。

背景技术

在信息数据爆炸式增长的今天，大数据已成为企业的一项重要战略资产。目前，大数据处理主要分为两类：第一类以联机分析处理(On-Line Analytical Processing，简称为OLAP)为代表，针对海量数据的挖掘、复杂的分析计算；第二类以联机事务处理(On-linetransaction processing，简称为OLTP)为代表，包括传统交易型操作以及海量数据的实时访问。为了同时满足上述两类数据处理的需求，大型企业在设计应用系统时，会根据业务场景使用不同类型的分布式数据库系统。因此，同样的一份数据分布在不同的物理位置上，表现为分布式异构的数据库系统环境。

在现有的分布式异构数据库系统中，不同类型的数据库系统之间彼此信息孤立，当本地数据表内容发生变化时，异地数据表难以及时感知到变化。例如，用户在OLTP类型数据库插入一条数据后，使用OLAP类型数据库对同一批数据进行分析处理时，由于未能及时感知到用户已通过OLTP类型数据库对数据进行了修改，在使用OLAP类型数据库进行分析处理时，采用的是原始未修改的数据，这将导致数据分析不准确；另外，在大数据量前提下进行数据同步时，对网络压力、磁盘I/O、存储容量都会有压力，非常消耗计算资源，严重的会影响正常业务运行。

发明内容

本发明实施例提供一种分布式异构数据库系统的数据同步方法，用以在分布式异构数据库系统环境下对数据进行同步，避免不同类型数据库系统之间无法及时感知数据的变化，有效提高数据查询与分析的准确率，该方法包括：

获取一组或多组操作指令和操作信息，将所述操作指令和操作信息发送至第一数据库集群，所述操作指令包括：插入数据、更新数据或删除数据，所述操作信息包括：操作位置与数据值；

接收第一数据库集群根据每组操作指令和操作信息修改对应操作位置处的数据后返回的操作结果；

根据各操作结果，将对应的操作指令和操作信息打包为消息发出，所述消息用于对第二数据库集群中对应的操作位置进行数据同步。

本发明实施例通过获取一组或多组操作指令和操作信息，将操作指令和操作信息发送至第一数据库集群，操作指令包括：插入数据、更新数据或删除数据，操作信息包括：操作位置与数据值，接收第一数据库集群根据每组操作指令和操作信息修改对应操作位置处的数据后返回的操作结果，最后根据各操作结果，将对应的操作指令和操作信息打包为消息发出，消息用于对第二数据库集群中对应的操作位置进行数据同步，避免不同类型数据库系统之间无法及时感知数据的变化，有效提高数据查询与分析的准确率。

本发明实施例提供一种分布式异构数据库系统的数据同步方法，用以在分布式异构数据库系统环境下对数据进行同步，避免因不同类型数据库系统之间无法及时感知数据变化造成的数据分析不准确，并且在实时同步数据的同时，有效节省资源消耗，保障系统的正常运行，该方法包括：

获取设定数量的消息，所述消息包括操作指令和操作信息，所述操作指令和操作信息与第一数据库集群的操作结果相对应，所述操作结果为第一数据库集群根据每组操作指令和操作信息修改对应操作位置处的数据后返回的；

对同一操作位置的消息进行合并，根据合并后的消息对第二类型数据库系统中对应的操作位置进行数据同步。