[发明专利]数据存储、查询方法和装置有效
申请号: | 201310577254.5 | 申请日: | 2013-11-18 |
公开(公告)号: | CN104657362B | 公开(公告)日: | 2018-07-10 |
发明(设计)人: | 张元龙;林汇宝 | 申请(专利权)人: | 深圳市腾讯计算机系统有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 贾允;肖丁 |
地址: | 518000 广东省深圳市南*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据块 待存储数据 原始数据 数据存储 原始数据内容 地址标识 压缩 数据查询装置 数据存储装置 数据内容存储 方法和装置 数据块标识 标识生成 使用效率 数据查询 数据内容 索引存储 数据区 索引区 聚类 索引 查询 | ||
1.一种数据存储方法,待存储数据包括原始数据标识和与所述原始数据标识对应的原始数据内容,所述方法包括:
根据所述原始数据标识对所述待存储数据进行聚类,将具有公共部分的原始数据标识对应的待存储数据作为一类,每一类分别对应一个数据块,并根据所述数据块对应的待存储数据的原始数据标识生成数据块标识;
将所述数据块对应的待存储数据的原始数据内容进行压缩,将压缩数据内容存储在所述数据块的数据区,并获得所述压缩数据内容的地址标识;
根据所述数据块对应的待存储数据的原始数据标识和所述地址标识生成索引,并将所述索引存储于所述数据块的索引区。
2.根据权利要求1所述的方法,其特征在于,所述根据所述原始数据标识对所述待存储数据进行聚类,每一类分别对应一个数据块,并根据所述数据块对应的待存储数据的原始数据标识生成数据块标识,包括:
将所述待存储数据的原始数据标识中第一预设位数的低位部分相同的待存储数据作为一类,每一类分别对应一个数据块,并将所述低位部分作为所述数据块的数据块标识。
3.根据权利要求2所述的方法,其特征在于,所述根据所述数据块对应的待存储数据的原始数据标识和所述地址标识生成索引,并将所述索引存储于所述数据块的索引区,包括:
从所述数据块对应的待存储数据的原始数据标识中截去所述低位部分,获得压缩数据标识,并将所述压缩数据标识和所述压缩数据内容的地址标识对应存储于所述数据块的索引区。
4.根据权利要求3所述的方法,其特征在于,所述从所述数据块对应的待存储数据的原始数据标识中截去所述低位部分,获得压缩数据标识,并将所述压缩数据标识和所述压缩数据内容的地址标识对应存储于所述数据块的索引区,包括:
将所述数据块的原始数据标识中第二预设位数的高位部分相同的原始数据标识作为同一子类,每一子类的原始数据标识分别对应所述数据块的索引区中的每个数据桶,将所述高位部分作为所述数据桶的数据桶标识,并在所述数据块的索引区中存储所述数据桶标识和所述数据桶在所述索引区中的桶起始存储地址的对应关系;
从所述数据块对应的待存储数据的原始数据标识中截去所述低位部分和所述高位部分,获得压缩数据标识,并将所述压缩数据标识存储在以所述高位部分作为数据桶标识的数据桶中;
在所述数据块的索引区中存储与所述数据桶中存储的压缩数据标识对应的压缩数据内容的地址标识。
5.根据权利要求4所述的方法,其特征在于,所述压缩数据内容的地址标识为所述压缩数据内容在所述数据区中的存储地址相对于所述数据区中起始存储地址的偏移量;
所述在所述数据块的索引区中存储与所述数据桶中存储的压缩数据标识对应的压缩数据内容的地址标识,包括:
在所述索引区中存储所述数据桶所对应的起始偏移量,以及所述数据桶中的压缩数据标识所对应的压缩数据内容的偏移量相对于所述起始偏移量的桶内偏移量。
6.根据权利要求4所述的方法,其特征在于,所述压缩数据内容的地址标识为所述压缩数据内容在所述数据区中的存储地址相对于所述数据区中起始存储地址的偏移量;
所述在所述数据块的索引区中存储与所述数据桶中存储的压缩数据标识对应的压缩数据内容的地址标识,包括:
在所述索引区中存储所述数据桶所对应的压缩数据内容的起始偏移量,以及所述数据桶所对应的各个压缩数据内容的数据长度。
7.根据权利要求4-6任意一项所述的方法,其特征在于,所述压缩数据标识在所述数据块的索引区的数据桶中按照所述压缩数据标识的数值大小升序或降序存储。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市腾讯计算机系统有限公司,未经深圳市腾讯计算机系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310577254.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种网络地图局部更新方法及装置
- 下一篇:一种多媒体文件进度定位方法及设备