[发明专利]一种数据压缩方法、装置、设备及计算机存储介质在审
申请号: | 202010890849.6 | 申请日: | 2020-08-29 |
公开(公告)号: | CN114124102A | 公开(公告)日: | 2022-03-01 |
发明(设计)人: | 李春光;王道辉;朱挺炜;宋驰 | 申请(专利权)人: | 华为云计算技术有限公司 |
主分类号: | H03M7/30 | 分类号: | H03M7/30 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;李稷芳 |
地址: | 550025 贵州省贵阳市*** | 国省代码: | 贵州;52 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据压缩 方法 装置 设备 计算机 存储 介质 | ||
1.一种数据压缩方法,其特征在于,所述方法包括:
选择基准数据中的部分数据,对所述部分数据进行切分得到第一字符串集合;
从待压缩数据获取至少一个待压缩字符串,将所述至少一个待压缩字符串在所述第一字符串集合中进行比对;
在未获取到匹配字符串的情况下,将所述部分数据在所述基准数据中以预设步长进行扩大,并对扩大后的部分数据进行切分得到第二字符串集合,将所述至少一个待压缩字符串在所述第二字符串集合中进行比对,在获取到匹配字符串的情况下,记录所述匹配字符串在所述基准数据中的偏移量以及长度到差量数据中。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述至少一个待压缩字符串在所述第二字符串集合中进行比对,在未获取到匹配字符串的情况下,记录所述未匹配字符串以及所述未匹配字符串的长度到所述差量数据中。
3.根据权利要求1所述的方法,其特征在于,将所述至少一个待压缩字符串在所述第一字符串集合中进行比对之后,所述方法还包括:
在获取到匹配字符串的情况下,记录所述匹配字符串在所述基准数据中的偏移量以及长度到所述差量数据中。
4.根据权利要求1所述的方法,其特征在于,记录所述匹配字符串在所述基准数据中的偏移量以及长度到所述差量数据中之后,所述方法还包括:
在所述匹配字符串中的最后一个字节为所述待压缩数据的最后一个字节的情况下,计算所述差量数据中未匹配字符串以及未匹配字符串长度的数据量;
在所述数据量大于第一阈值的情况下,重新对所述待压缩数据进行压缩。
5.根据权利要求1-4任一项所述的方法,其特征在于,将所述部分数据以预设步长进行扩大之前,所述方法还包括:
判断是否满足切分条件,在满足所述切分条件的情况下,将所述部分数据以预设步长进行扩大,其中,所述切分条件包括:所述至少一个待匹配字符串的数量小于或等于第一预设数量,所述第一字符串集合中字符串的数量小于或等于第二预设数量。
6.根据权利要求1-5任一项所述的方法,其特征在于,在将所述至少一个待压缩字符串在所述第二字符串集合中进行比对之后,所述方法还包括:
获取第一偏移量和第二偏移量,其中,所述第一偏移量为所述匹配字符串中的最后一个字节在所述待压缩数据中的偏移量,或所述至少一个待压缩字符串中的最后一个字节在所述待压缩数据中的偏移量;所述第二偏移量为所述匹配字符串中的最后一个字节在所述基准数据中的偏移量,或所述部分数据中的最后一个字节在所述基准数据中的偏移量;
在所述第一偏移量和所述第二偏移量的比值小于第二阈值的情况下,从所述待压缩数据中切分出目标待压缩字符串;
将所述目标待压缩字符串在所述第二字符串集合中进行比对,在获取到匹配字符串的情况下,记录所述匹配字符串在所述基准数据中的偏移量以及长度到差量数据中。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在所述第一偏移量和所述第二偏移量的比值大于或等于第二阈值的情况下,从所述待压缩数据中切分出目标待压缩字符串,将所述部分数据以固定步长进行扩大,对扩大后的部分数据进行切分得到第三字符串集合;
将所述目标待压缩字符串在所述第三字符串集合中进行比对,在获取到匹配字符串的情况下,记录所述匹配字符串在所述基准数据中的偏移量以及长度到差量数据中。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述匹配字符串包括所述待压缩的字符串和/或放大后的待压缩字符串,所述放大后的待压缩字符串为将匹配的待压缩字符串进行放大得到的,以使得所述基准数据和所述待压缩数据中均包括所述放大后的待压缩字符串。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为云计算技术有限公司,未经华为云计算技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010890849.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:密钥使用方法及相关产品
- 下一篇:一种时空数据的查询方法及相关装置