[发明专利]面向混合固态存储系统的嵌入式IoT时序数据库设计方法

说明书

本发明提出了面向混合固态存储系统的嵌入式IoT时序数据库设计方法，在存储器驱动中建立时序数据库引擎，以系统调用封装时序数据库的读写访问操作，使系统在读写时序数据时跳过文件系统层的开销；针对时序数据的结构特性，在时序数据库引擎上设计实现了融合删冗和压缩的数据存储策略；设计实现了分层的时序数据管理策略，使低时效数据能自动迁移到SSD中，并对NVM和SSD上的时序数据分别设计了二维混合索引策略和摘要索引策略；本发明能针对时序数据的众多特性来优化数据存储过程，并且能利用NVM的优势来优化SSD上的数据的索引，使存储系统达到更高的空间利用率的同时能动态管理数据在NVM与SSD中的分布以及能高并发和高速地索引时序数据。

技术领域

本发明属于计算机存储技术领域，具体涉及面向混合固态存储系统的嵌入式IoT时序数据库。

背景技术

非易失性存储器NVM具有可字节寻址、持久性、读写性能与DRAM相近和存储密度大的特性，其类型主要有相变存储器、阻抗式存储器和3D-XPoint等，以相变存储器为例，它的读写延迟分别约为70ns和150ns，能为高并发和海量的时序数据存储提供性能保障。而当前已有时序数据库均基于通用数据库系统进行二次开发而来，导致了过大的I/O软件栈开销，也难以针对时序数据的特点进行优化。这些时序数据库在HDD或SSD上工作时，I/O软件开销的延迟能被存储器的高延迟所掩盖，而当高速的NVM加入后，这些软件开销问题则被暴露出来，计算机存储系统性能瓶颈由硬件速度转变成了软件速度，这使得系统无法最大程度地表现NVM的优良特性。而本发明则在缩小时序数据库I/O软件栈的同时针对时序数据的特性优化了数据的存储过程，可以让NVM和SSD构成的混合存储系统很好地运用在IoT(物联网)时序数据存储的应用场景中。

发明内容

为了解决上述问题，，本发明针对IoT时序数据的各种特性来优化了时序存储数据的过程，使得系统的读写时序数据的效率更高、存储空间的开销更小，可以解决传统的时序数据存储系统外部软件依赖度高、吞吐率低、并发性低、存储空间开销大的问题。本发明提出了一种面向混合固态存储系统的嵌入式IoT时序数据库，通过在存储器驱动中构建时序数据库引擎，并针对时序数据的特性进行数据压缩，以及结合NVM和SSD的特性，设计分层的数据管理策略和数据索引策略。

为了实现上述目的，本发明的技术方案为：

面向混合固态存储系统的嵌入式IoT时序数据库，包括以下步骤：

步骤1)在存储器驱动中建立时序数据存储引擎；

步骤2)在写入数据时根据IoT源的不同对时序数据进行分区；

步骤3)将时序数据以4KB的块为单位进行删冗压缩后存储在NVM(Non-VolatileMemory) 中；

步骤4)当NVM内数据块数量达到一定阈值时，将时效性较低的时序数据块迁移到SSD(Solid State Disk)中；

步骤5)在查询数据时根据分级异构的时序数据索引机制索引NVM和SSD中的时序数据；

进一步地，上述步骤1)中，在存储器驱动中建立时序数据存储引擎具体步骤如下：

步骤1.1：在内核的系统调用库中申明时序数据库引擎系统调用函数

sys_call_TSNSM(name，interval，precision，range)参数name代表传感器的名称，我们在存储系统中称之为IoT源的名称，interval代表该设备发送数据的时间间隔，precision表示该设备所发送的数据值的小数位数字个数，range表示用户需要对这个设备的数据经常访问的时间范围；

步骤1.2：在内核的存储器驱动中实现时序数据库所需要的读写函数；