[发明专利]数据存储方法、装置、系统、计算机设备及存储介质有效
申请号: | 201910494495.0 | 申请日: | 2019-06-10 |
公开(公告)号: | CN110188108B | 公开(公告)日: | 2021-03-02 |
发明(设计)人: | 崔秋;唐刘;朱承浩;姚婷 | 申请(专利权)人: | 北京平凯星辰科技发展有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2455 |
代理公司: | 北京万思博知识产权代理有限公司 11694 | 代理人: | 刘冀 |
地址: | 100192 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 存储 方法 装置 系统 计算机 设备 介质 | ||
1.一种数据存储方法,其特征在于,包括:
在内存中处理待存储数据的写入请求,并将所述待存储数据缓存在所述内存中;
当所述内存中缓存的数据达到第一预设阈值时,将所述内存中所述待存储数据转换成具有索引的多层矩阵数组,存储在预先设置在非易失性存储设备中的矩阵存储结构的存储层中,所述矩阵存储结构的存储层为合并树结构的首层,所述合并树结构为键值存储的数据结构;
当所述非易失性存储设备中数据达到第二预设阈值时,对所述非易失性存储设备中存储的数据进行合并处理,并写入到所述合并树结构下一层中,其中,所述合并树结构下一层设置在固态硬盘中,所述非易失性存储设备与所述固态硬盘中所有存储层构成所述合并树结构,其中
以每个元数据单元为单位,构建具有索引的多层矩阵数组,包括:
按照所述数据单元的顺序依次执行如下步骤,以构建具有索引的多层矩阵数组,其中,所述数据单元按照键的数值大小排序:
对当前数据单元对应的元数据单元,构建与上一个多层矩阵数组中最上层的元数据单元的索引关系,所述上一个多层矩阵数组为对当前字符串数据的上一个数据单元处理后得到的多层矩阵数组;
将所述当前数据单元对应的元数据单元加入到所述上一个多层矩阵数组中,得到新的多层矩阵数组。
2.根据权利要求1所述的数据存储方法,其特征在于,将所述内存中所述待存储数据转换成具有索引的多层矩阵数组,存储在预先设置在所述非易失性存储设备中的矩阵存储结构的存储层中,包括:
按行的方式将所述待存储数据写入到所述矩阵存储结构;
对于每一行的数据,建立每个数据单元对应的元数据单元;
以每个元数据单元为单位,构建具有索引的多层矩阵数组并存储。
3.根据权利要求2所述的数据存储方法,其特征在于,在所述多层矩阵数组中,每个元数据单元的索引指向其向下相邻层中键的数值大于等于该元数据单元的所有元数据单元的最小值。
4.根据权利要求1所述的数据存储方法,其特征在于,在构建具有索引的多层矩阵数组之后,还包括:
对所述多层矩阵数组中的数组按层进行分段处理,将第一预设数量的数组组成一数组段。
5.根据权利要求4所述的数据存储方法,其特征在于,当所述非易失性存储设备中数据达到第二预设阈值时,对所述非易失性存储设备中存储的数据进行合并处理,包括:
当非易失性存储设备中的所述多层矩阵数组的数组层达到预设层数阈值时,将从所述多层矩阵数组的底部开始将第二预设数量的数组段组成一个组,并对每个组内的数组段进行合并;
去除合并后的每个组内的无效的数据,得到合并后的数组段;
对合并后的数组段按照原数组容量的预设倍容量进行切分,得到切分后的数组。
6.根据权利要求1所述的数据存储方法,其特征在于,对所述非易失性存储设备中存储的数据进行合并处理,包括:
将所述非易失性存储设备中所有数组存入到预先划分出的预设空间;
将所述预设空间按照预设规则纵向切分成若干个列块,对每个列块中的数组分别执行合并到所述合并树结构下一层的操作。
7.根据权利要求6所述的数据存储方法,其特征在于,将所述预设空间按照预设规则纵向切分成若干个列块,包括:
基于所述首层的下一层的文件范围来划分所述预设空间,得到所述若干个列块,所述列块以所述首层的下一层的文件边界为界限,所述首层的下一层的每一个文件对应一个列块;
其中,所述预设空间的每个列块中的数组只与所述首层的下一层列块范围相同的文件进行合并。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京平凯星辰科技发展有限公司,未经北京平凯星辰科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910494495.0/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置