[发明专利]一种内存数据库快速数据恢复方法

说明书

技术领域

本发明涉及一种内存数据库快速数据恢复方法，用于解决当内存数据库发生异常、内存数据丢失之后，能够通过本方法，快速从磁盘文件中恢复数据，确保数据不丢失。

背景技术

随着电信业、金融业不断的发展，业务扩展越来越广，各种新业务层出不穷，数据量也越来越大，对数据访问的响应速度要求也越来越高。大量的用户资料数据、用户消费数据都需要存放在内存数据库中，但是由于内存的非持久性，一旦内存数据库进程或者所在主机发生异常停止，内存中的数据就将全部丢失。当内存数据库重新启动之后，如何确保数据能够恢复到异常之前的状态，成为内存数据库安全的关键技术。

目前，一般的内存数据库采用定时备份内存数据的方式，比如每小时备份一次，这样，当内存数据发生异常，可以从最近一次的备份数据进行恢复，但是，从最近一次备份到系统发生异常的这一段时间，内存数据库发生的修改操作都会丢失，仅靠内存数据库自身的机制是无法恢复的，只能通过具体的业务程序重做那一段时间的业务来恢复数据，既费时又容易造成人为错误。

另外，有的内存数据库会实时记录每次操作的SQL语句，这样如果系统发生异常，可以通过重做从最近一次备份到系统发生异常的这一段时间的SQL语句来恢复数据。由于SQL语句本身需要进行解析，并重新在内存中查找需要操作的记录，在数据量巨大的电信业务系统中，难以在短时间内恢复全部数据。

发明内容

本发明所要解决的技术问题是提供一种新的内存数据库快速数据恢复方法，当内存数据库系统发生异常停止后，能够在相对较短的时间内，将内存数据库重新启动，并使各内存表数据能够恢复到异常前的状态，确保数据完全不丢失。

本发明解决上述技术问题的技术方案如下：内存数据库快速数据恢复方法，包括如下步骤：

步骤1：内存数据库在正常运行时，定时将内存数据全部写入全量文件；

步骤2：外部应用程序每次对内存数据库进行增删改操作时，立即将操作的流水日志写入增量文件；

步骤3：一旦内存数据库出现异常停止，在内存数据库重新启动时，首先加载最近一次的全量文件到内存中；

步骤4：然后再将全量文件时间点之后的所有增量日志记录，按顺序逐条追加到内存中，最终使数据恢复到异常前的状态。

本发明的有益效果是：定时(比如每隔1天，或者每小时)将内存数据全部写入指定文件(全量文件)，可以让内存数据库从最近一次备份时间点开始恢复，避免在恢复时需要对之前所有的增量文件进行重做。在每次对内存数据库进行增删改操作时，都立即将操作的流水日志写入增量文件，这样可以确保每次对内存的修改在磁盘上都留有记录，可以有效防止内存数据的突然丢失。

进一步，在增量文件中，每一条记录的修改都含有对应记录的内存坐标，这样省去解析SQL的时间消耗，可以直接根据坐标快速定位到对应的内存记录，实现快速恢复。

进一步，在重做增量文件时，严格按顺序逐条追加到内存中，可以确保最终使数据恢复到异常前的状态。

附图说明

图1为本发明的内存数据存储方式及增量文件格式示意图；

图2为本发明的具体处理流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明的内存数据库快速数据恢复方法，包括如下步骤：

步骤1：内存数据库在正常运行时，定时将内存数据全部写入全量文件；

步骤2：外部应用程序每次对内存数据库进行增删改操作时，立即将操作的流水日志写入增量文件；

步骤3：一旦内存数据库出现异常停止，在内存数据库重新启动时，首先加载最近一次的全量文件到内存中；

步骤4：然后再将全量文件时间点之后的所有增量日志记录，按顺序逐条追加到内存中，最终使数据恢复到异常前的状态。

首先，内存数据库中的数据组织形式如图1所示，每个表的内存数据以100000条为一个单位，每条记录对应一个唯一的内存块序号和在指定内存块中的记录编号。增量文件每隔10分钟生成一个新文件，文件命名为ALL.yyyymmddhhmi00，例如ALL.20101021080000、ALL.20101021081000等；增量文件的每条记录格式如图1所示，记录了每条修改记录的内存坐标及操作类型。