[发明专利]一种基于RocksDB的预写日志方法及系统

说明书

本发明特别涉及一种基于RocksDB的预写日志方法及系统。该基于RocksDB的预写日志方法及系统，通过启用固定数量且绑核的线程，对NVMe SSD设备的写入请求进行接受、管理、执行和返回；使用自制文件系统对混合存储设备进行分区、管理和优化；并用SPDK读取高速的NVMe SSD设备的数据，实现预写日志恢复；利用滑动窗口算法和/或位图算法，使用忙等待技术，实现预写文件系统的的同步机制。该基于RocksDB的预写日志方法及系统，能够充分发挥出NVMe SSD的高存储性能，大大加快了数据库的吞吐速度，能够保证各个硬件设备能够充分得到利用，避免了数据库因磁盘写入速度慢而导致的写时速问题，提高了数据库的恢复速度，使得数据库的读取和写入性能大大提高。

技术领域

本发明涉及数据库数据安全技术领域，特别涉及一种基于RocksDB的预写日志方法及系统。

背景技术

闪存技术不断发展和完善，使用NAND闪存构建的固态磁盘容量变得越来越大，价格也越来越低，字节单位存储成本变得越来越低。很多企业已经可以承担起固态硬盘的价格。随着固态硬盘的技术的革新，固态硬盘可承受擦除次数极大提高。同时固态硬盘相比机械硬盘来讲，数据传输速率极高，固态硬盘使用SATA 3接口，顺序读取和顺序写入速度均为每秒400MB到500MB，对于使用PCIe 3.0x4的接口的NVMe(Non-Volatile Memory Express,非易失性存储器标准)SSD(硬盘)，顺序读取和顺序写入速度均为每秒3GB到4GB。闪存设备越来越多的出现在企业的应用中了。

传统的存储驱动程序，都是基于机械硬盘编写的。大部分都是通过操作系统的上下文切换，对数据进行写入。然而对于高端的存储设备，例如使用PCIe 3.0x4的接口的NVMeSSD来讲，频繁的上下文切换反而带来了更大的开销。SPDK绕过了操作系统的存储驱动程序，SPDK基于轮询的I/O工作，减少了CPU的使用。SPDK提供了高速的、并行的写入机制，并支持异步请求处理。

随着社会地不断发展，大数据，人工智能都需要底层数据的支持。PB级的数据量在各大企业中非常常见。中小企业的数据量也不容小觑。所以对于数据存储设备和数据库都提出了很大的挑战。

为了提高数据库RocksDB的吞吐量，本发明提出了一种基于RocksDB的预写日志方法及系统。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于RocksDB的预写日志方法及系统。

本发明是通过如下技术方案实现的：

一种基于RocksDB的预写日志方法及系统，其特征在于：包括以下步骤：

第一步，预写日志异步写入

包括多线程写入、读取和统计任务管理与调度；通过启用固定数量且绑核的线程，对NVMe SSD设备的写入请求进行接受、管理、执行和返回，通过SPDK写入NVMe SSD设备；

第二步，预写日志文件管理

对高速的NVMe SSD存储设备直接写入，绕过文件系统，使用适合RocksDB和SPDK的自制文件系统对混合存储设备进行分区、管理和优化；

第三步，预写日志恢复

包括对日志文件的定位、读取和数据管理；由于预写日志系统的使用自制文件系统，文件结构与数据组织形式使用自制的文件和数据格式，并用SPDK读取高速的NVMe SSD设备的数据，以实现文件恢复；

第四步，预写日志同步机制

利用滑动窗口算法和/或位图算法，使用忙等待技术，实现预写文件系统的的同步机制。