[发明专利]一种针对数据库重做日志的处理方法及系统

说明书

技术领域

本发明涉及数据库技术领域，具体涉及一种针对数据库重做日志的处理方法及系统。

背景技术

当前数据库技术中，重做（REDO）日志提供了一个对未写入数据库磁盘的数据的进行重做的基础。当数据库更新提交的时候，数据并不会即时写入到磁盘的数据文件中，而是保存在内存当中，这就需要通过REDO日志来对该次数据库更新提供一种持久化的支持，避免在故障的情况下，由于内存数据的丢失而导致数据丢失。

现有技术中，通常通过将数据库更新的动作记录在REDO日志中来避免要求每次的数据库更新写入数据文件，从而提高数据库更新的性能；同时在REDO日志的写入上又通过设置REDO日志的缓冲，来减少REDO日志写入磁盘的频率；而在操作系统这个层面，会对磁盘的读写操作进行排序来优化磁盘的读写操作；最后在磁盘中，还有磁盘缓存的存在，来最大限度的利用批量写入磁盘的优势。

可以发现，从REDO日志的产生到磁盘磁化的过程当中，依赖各类的缓冲跟延时来提高数据库性能的措施，一方面能获取性能提升，另一方面也存在着缓冲因为掉电等极端情况下造成数据丢失的危险。此外在高并发性、高吞吐量的数据库操作中，目前比较多的是采用基于磁盘阵列的方式来提供容错能力，但是基于容错的前提下，磁盘阵列又无法做到更快的提高磁盘IO的性能。同时磁盘阵列也局限于磁盘缓存的总容量跟磁盘阵列扩展的代价不能提供线性的扩展能力。面对超负荷的REDO日志的，磁盘阵列解决方案的性能下降是无可避免的。

因此，现有技术存在以下主要缺陷：REDO日志的缓存可能因为机器掉电而丢失，磁盘缓存存在着类似问题，因此现有处理方法使得安全性降低。

发明内容

本发明提供一种针对数据库重做日志的处理方法及系统，能够提高数据处理的安全性。

一种针对数据库重做日志的处理方法，包括：

构建数据库Cassandra的内存集群；

将重做REDO日志通过冗余复制保存在Cassandra集群的内存中；

对存储在Cassandra集群的内存中的REDO日志进行处理操作。

所述构建Cassandra的内存集群包括：

采用点对点P2P分布式技术构建Cassandra的内存集群，结合一致性哈希算法将所述内存集群形成一个环状，所述内存集群中的每一个节点负责部分键值范围的查询任务。

所述将REDO日志通过冗余复制保存在Cassandra集群的内存中包括：

调整Cassandra集群的内存配置，将每份REDO日志在Cassandra集群的内存中的N个节点形成冗余，所述N大于1。

所述N个节点具体为3个节点。

所述对存储在Cassandra集群的内存中的REDO日志进行处理操作包括：

对存储在Cassandra集群的内存中的REDO日志进行至少以下一项操作：查询、插入、删除、恢复。

所述删除包括：修改Cassandra在内存中的数据删除策略，在Cassandra的Tomb Mark的删除基础上增加内存记录物理删除功能；

所述恢复包括：将数据库恢复时多个REDO日志的串行操作转换为并行操作；

所述对存储在Cassandra集群的内存中的REDO日志进行处理操作还包括：改造Cassandra集群的归并操作，使得错开Cassandra集群的归并操作同REDO日志的读写操作。

一种数据库系统：

包括至少一个以上内存集群服务器节点；

所述至少一个以上内存集群服务器节点构建成Cassandra的内存集群；

所述内存集群服务器节点按照冗余复制方式保存重做REDO日志，并对存储在Cassandra集群的内存中的REDO日志进行处理操作。

所述内存集群服务器节点包括请求协调器、集群协调器、日志RID模块；

请求协调器，用于接收对REDO日志的操作请求；

集群协调器，采用P2P分布式技术构建Cassandra的内存集群，结合一致性哈希算法将所述内存集群形成一个环状，所述内存集群中的每一个节点负责部分键值范围的查询任务；

日志RID模块，根据请求协调器的请求，对存储在Cassandra集群的内存中的REDO日志进行处理操作，包括：对存储在Cassandra集群的内存中的REDO日志进行至少以下一项操作：查询、插入、删除、恢复。