[发明专利]一种混合日志生成方法和解析方法

说明书

技术领域

本发明涉及内存数据库领域，尤其涉及一种内存数据库的混合日志生成方法和解析方法。 

背景技术

现代通信对计算机技术依赖性越来越强，在电信运营商的不断发展中，建立起各类信息系统，包括运营网络系统、综合营帐系统、计费系统、办公自动化系统等等，这些系统积累了海量的有价值的数据资料，通过对这些资料进行数据挖掘、查询分析和联机分析，可以识别市场机会、制定市场策略。但是，这些数据资料过于庞大了，记录条数动辄以亿计，如短信系统，每秒需要存储成千上万条用户信息。对于如此庞大的数据量，传统的基于磁盘的数据库管理系统越来越难以应付，于是，业界提出了内存数据库技术以及内存数据库管理系统(MainMemory Database Management System，以下简称MMDBMS)。 

内存数据库，即将数据放在内存中直接操作的数据库。内存数据库管理系统在内存中管理整个数据库或者数据库的一部分，所以可以直接访问数据而不用访问磁盘。从而，内存数据库就具有了高性能的事务处理能力。 

然而，由于内存本身具有易失性的特点，即一旦掉电或者发生故障，数据就会全部丢失，造成商用系统不可弥补的损失。因此，MMDBMS都会在一定时间间隔内把内存中的脏数据备份到永久存储器上。 

MMDBMS支持并发操作，备份的过程可能伴随着数据的更新过程。备份之后得到的可能是处于不一致性状态的数据库映像文件。若使用这样的映像文件来恢复数据库，将使数据库陷入不一致性状态。 

为了得到一个处于一致性状态的映像文件，目前不少系统采用静态备份的方式，即等到系统中没有事务在运行时进行备份。备份期间不允许对数据库进行更新。这种备份方法大大降低了系统的可用性。并且，备份操作也不能太频繁，否则系统I/O不能承受。另外，备份的时间间隔越长，一旦系统崩溃，丢失的数据量也越多。目前普遍的做法是采用登记日志(Logging)来保障数据不丢失、少丢 失。 

此外，MMDBMS在运行过程中也会陷入不一致性状态。例如系统崩溃意外终止事务，用户主动终止事务等都可能导致数据库不一致。目前大部分系统都采用登记事务日志的方法来把数据库恢复到最新的一致性状态。 

很多应用系统，如上述的短信系统，往往由很多带数据库的节点构成一个分布式系统，这些节点的数据库之间经常需要同步数据。数据同步过程有时是实时进行的，有时仅需定期/不定期同步一次数据。实时同步往往不需要生成同步数据文件。而对于定期/不定期同步，目前业界采用最多的是生成同步数据文件的办法。 

不过，事务日志文件加上同步数据文件，其产生的数据量非常庞大。研究人员通过对二者存储内容的研究，发现二者存放了许多相同或雷同的信息，冗余度相当大。这将造成存储空间的严重浪费，也耗费了生成这些冗余信息时的计算资源。 

此外，在进行系统故障恢复时，目前业界通常的做法是建立两个队列：REDO队列和UNDO队列。系统故障恢复时分别重复执行REDO和UNDO操作，做法比较繁琐，而且重复扫描日志文件，效率较低。 

发明内容

为解决上述数据库系统的事务日志文件和同步数据文件同时存在造成存储空间浪费，系统故障恢复效率低的问题，有必要提供一种存储空间较小，系统故障恢复效率较高的混合日志生成方法。 

此外，还有必要提供一种上述混合日志格式的混合日志解析方法。 

本发明混合日志生成方法包括以下步骤：打开或者创建既可充当事务日志又可充当同步日志的混合日志文件；接收用户命令，并判断所述用户命令的类型；根据所述判断得出的用户命令的类型及与该类型对应的登记方式，登记相应的命令类型日志。 

所述登记相应的命令类型日志包括以下步骤：收到日志登记请求，判断所述日志缓存区是否有足够空间容纳所述日志，若没有足够空间，则把所述缓存区的数据刷写到所述混合日志文件，并清空缓存区；查看所述日志在所述缓存区中偏移量和所述混合日志文件的大小，把二者相加得到所述日志在所述混合日志文件中的实际偏移量；将所述日志写入所述缓存区，并返回成功写入的字节数和所述 实际偏移量。 

所述判断得出用户命令的类型为检查点命令，则登记所述检查点命令日志，并伴随所述检查点命令的执行，所述检查点命令的执行与事务并发执行。