[发明专利]数据存储方法、装置、系统、计算机设备及存储介质

说明书

本发明公开了一种数据存储方法、装置、系统、计算机设备及存储介质，其中方法包括：在内存中处理待存储数据的写入请求，并将待存储数据缓存在内存中；当内存中缓存的数据达到第一预设阈值时，将内存中待存储数据转换成具有索引的多层矩阵数组，存储在预先设置在非易失性存储设备中的矩阵存储结构的存储层中；当非易失性存储设备中数据达到第二预设阈值时，对非易失性存储设备中存储的数据进行合并处理，并写入到合并树结构下一层中。本发明可以保证系统的读写性能，增大每一层的空间大小，以此来处理解决多层日志结构树结构给系统带来的写放大性能开销，从而降低系统波动和停顿延时。

技术领域

本发明数据存储技术领域，具体涉及一种数据存储方法、装置、系统、计算机设备及存储介质。

背景技术

随着信息技术的高速发展和互联网的普及，数据量出现了飞跃式的增长，应用服务的数据存储规模和数据的访问量也随之增大，传统的关系型数据库无法满足需求，非关系数据库应运而生。键值存储是非关系型数据库的一种典型的存储方式，键值存储系统中数据按照键值对的形式进行组织存储，由于其横向扩展的性能扩展方式，可以较好地应对现今大数据时代的需要，已经成为了现今存储行业的主流方式之一。

现今大部分键值存储系统都采用日志合并树(Log-Structured-Merge Tree，LSM-Tree)存储模型，日志合并树架构提出了延迟更新和批量写入的算法，将随机写转换为批量顺序写，从而大大地提升了系统的写入性能。但是发明人在研发过程中发现，目前基于LSM树的键值存储系统在传统的DRAM-SSD存储架构中仍然存在一些问题，例如，由于存储设备(DRAM与SSD)的速度不对等带来的性能瓶颈，以及LSM-Tree结构本身所具有的层次导致的过多写放大缺陷，导致系统性能波动，出现系统性能的停顿延时问题等。

发明内容

本发明要解决现有技术中由于存储系统存在的写放大缺陷导致系统性能波动、停顿延时的问题，从而提供一种数据存储方法、装置、系统、计算机设备及存储介质。

本发明的一方面，提供了一种数据存储方法，包括：在内存中处理待存储数据的写入请求，并将所述待存储数据缓存在所述内存中；当所述内存中缓存的数据达到第一预设阈值时，将所述内存中所述待存储数据转换成具有索引的多层矩阵数组，存储在预先设置在所述非易失性存储设备中的矩阵存储结构的存储层中，所述矩阵存储结构的存储层为合并树结构的首层，所述合并树结构为键值存储的数据结构；当所述非易失性存储设备中数据达到第二预设阈值时，对所述非易失性存储设备中存储的数据进行合并处理，并写入到所述合并树结构下一层中，其中，所述合并树结构下一层设置在固态硬盘中，所述非易失性存储设备与所述固态硬盘中所有存储层构成所述合并树结构。

可选地，将所述内存中所述待存储数据转换成具有索引的多层矩阵数组，存储在预先设置在所述非易失性存储设备中的矩阵存储结构的存储层中，包括：按行的方式将所述待存储数据写入到所述矩阵存储结构；对于每一行的数据，建立每个数据单元对应的元数据单元；以每个元数据单元为单位，构建具有索引的多层矩阵数组并存储。

可选地，以每个元数据单元为单位，构建具有索引的多层矩阵数组，包括：按照所述数据单元的顺序依次执行如下步骤，以构建具有索引的多层矩阵数组，其中，所述数据单元按照键的数值大小排序：对当前数据单元对应的元数据单元，构建与上一个多层矩阵数组中最上层的元数据单元的索引关系，所述上一个多层矩阵数组为对所述当前字符串数据的上一个数据单元处理后得到的多层矩阵数组；将所述当前数据单元对应的元数据单元加入到所述上一个多层矩阵数组中，得到新的多层矩阵数组。

可选地，在所述多层矩阵数组中，每个元数据单元的索引指向其向下相邻层中键的数值大于等于该元数据单元的所有元数据单元的最小值。

可选地，在构建具有索引的多层矩阵数组之后，还包括：对所述多层矩阵数组中的数组进行分段处理，将第一预设数量的数组组成一数组段。