[发明专利]一种RocksDB数据库数据写入方法及RocksDB数据库

说明书

本发明公开了一种RocksDB数据库数据写入方法，包括：数据以日志形式写入磁盘，以memtable形式写入内存；当memtable的数据大小超过阈值时，将该memtable保存为只读memtable，新建memtable写入新数据；当只读memtable数量超过阈值时，将只读memtable合并，以SST文件形式写入非易失性内存；当非易失性内存中的SST文件数量超过阈值时，将非易失性内存中的SST文件合并写入磁盘阵列。本发明还公开了一种RocksDB数据库，包括磁盘、内存、非易失性内存和磁盘阵列；通过将level0存储设置为非易失性内存，既保证了level0数据的非易失性和内存级的读写速率，又保证了level0向level1写入数据时不会有较大的读写带宽差距，从而提升RocksDB读写性能。

技术领域

本发明涉及数据库领域，具体涉及一种RocksDB数据库数据写入方法及RocksDB数据库。

背景技术

RocksDB是一种使用一套日志结构的数据库引擎，为了更好的性能，这套引擎采用C++编写，用来存储key和value，Key和value是任意大小的字节流，为快速而又低延迟的存储设备(例如闪存或者高速硬盘)而特殊优化处理。RocksDB能最大限度地发挥闪存和内存的高速率读写性能。

数据写入时，先后经过磁盘、内存，最后在硬盘中存储。目前常用的硬盘存储介质是SSD，其读写性能与内存相比差距非常大，因此数据从内存写入硬盘时，由于硬盘读写速率慢，会出现写入速率降低的问题。

发明内容

为了解决上述技术问题，本发明提出了一种RocksDB数据库数据写入方法及RocksDB数据库，能够提高RocksDB从内存向硬盘写入时的写入速率，提升RocksDB读写性能。

为实现上述目的，本发明采用以下技术方案：

一种RocksDB数据库数据写入方法，包括：

数据以日志形式写入磁盘，以memtable形式写入内存；

当memtable的数据大小超过阈值时，将该memtable保存为只读memtable，新建memtable写入新数据；

当只读memtable数量超过阈值时，将只读memtable合并，以SST文件形式写入非易失性内存；

当非易失性内存中的SST文件数量超过阈值时，将非易失性内存中的SST文件合并写入磁盘阵列。

进一步地，非易失性内存中的SST文件合并写入磁盘阵列后，将非易失性内存中的数据删除。

进一步地，所述磁盘阵列包括若干层level1-leveln，非易失性内存中的SST文件合并写入磁盘阵列的第一层level1；当磁盘阵列的第m层中的SST文件数量超过阈值时，将第m层levelm中的SST文件写入第m+1层levelm+1，其中，mn。

进一步地，所述磁盘阵列的level1-leveln分别包括若干个硬盘，所述将第m层levelm中的SST文件写入第m+1层levelm+1的写入操作多线程执行。

本发明还提出了一种RocksDB数据库，包括磁盘、内存、非易失性内存和磁盘阵列；

所述磁盘用于存储并传递日志形式的数据，数据传递至内存；

所述内存用于存储并传递memtable形式的数据，数据传递至非易失性内存；

所述非易失性内存用于存储并传递SST文件形式的数据，数据传递至磁盘阵列；

所述磁盘阵列用于存储SST文件形式的数据。

进一步地，所述磁盘阵列由若干个硬盘组成若干层level1-leveln，其中，非易失性内存传递的SST文件写入level1。