[发明专利]基于二进制日志的数据归档方法及数据归档装置

说明书

本发明提供了一种基于二进制日志的数据归档方法及数据归档装置，其中，该数据归档方法包括：启动对第一数据库的二进制日志的订阅服务；删除所述第一数据库中需要归档的数据；获取所述第一数据库的二进制日志，根据所述二进制日志确定所述需要归档的数据；将所述需要归档的数据插入第二数据库中。本发明的技术方案能够通过二进制日志来获取需要归档的数据，无需直接从数据库中获取需要归档的数据，有效降低了在进行数据归档时对数据库的影响，进而能够很好地适用于不间断核心系统的数据归档工作。

技术领域

本发明涉及数据库技术领域，具体而言，涉及一种基于二进制日志的数据归档方法及数据归档装置。

背景技术

数据归档是将不再经常使用的数据从生产库移到历史库长期保存的过程。生产库中的数据是随着业务量动态增长的，如果不及时进行数据归档，会严重影响生产库的性能。在互联网行业尤其是电商行业，为了保障生产库的性能，需要及时进行数据归档，由于这些行业的生产库中数据每日的增长量非常大，因此数据归档的频率远大于传统行业。

同时，由于互联网行业的数据库系统往往需要不间断提供服务，任何时候的并发量都很大，因此数据归档操作必须尽量减少对生产库的性能影响。另外在电商行业，业务复杂导致数据库的表关系复杂，很多业务表都是有级联关系的，数据归档的时候需要在一个事务中归档，这无疑又增加了数据归档的复杂度。

目前，在MySQL(一个关系型数据库管理系统)数据库领域普遍采用的数据归档方案有如下两种：

1、基于mysqldump(mysql中用于转存储数据库的实用程序)的数据归档方案：该方案通过MySQL中的mysqldump命令将需要归档的数据导出，然后导入到历史库，最后再从生产库中删除。

2、基于select-insert-delete的数据归档方案：该方案采用SQL语句select(选择)出需要归档的数据，然后insert(插入)到历史库，最后再从生产库delete(删除)。

上述的两种数据归档方案是传统企业级应用在数据归档领域最常用的方案。从性能上来说，这两种方案都会对生产库造成很大的影响，在生产库并发压力高且属于不间断核心系统时都不适宜；从功能上来说，基于mysqldump的数据归档方案仅支持单表的数据归档，难以处理有级联关系的多张表的同步归档，而基于select-insert-delete的数据归档方案虽然可以处理有级联关系的多张表，但通常仅能针对主表数据逐条进行归档。

因此，需要一种新的数据归档方案来对数据库中的数据进行归档。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种基于二进制日志的数据归档方法及数据归档装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一个方面，提供一种基于二进制日志的数据归档方法，包括：

启动对第一数据库的二进制日志的订阅服务；

删除所述第一数据库中需要归档的数据；

获取所述第一数据库的二进制日志，根据所述二进制日志确定所述需要归档的数据；

将所述需要归档的数据插入第二数据库中。

在本发明的一种示例性实施例中，删除所述第一数据库中需要归档的数据的步骤，包括：