[发明专利]数据压缩方法、装置及计算机可读存储介质在审
申请号: | 202011033892.7 | 申请日: | 2020-09-27 |
公开(公告)号: | CN111984610A | 公开(公告)日: | 2020-11-24 |
发明(设计)人: | 王艳清;徐洪志;亓国强;郭平加 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
主分类号: | G06F16/174 | 分类号: | G06F16/174;G06F3/06 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 刘新雷 |
地址: | 215100 江苏省苏州市吴*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据压缩 方法 装置 计算机 可读 存储 介质 | ||
1.一种数据压缩方法,其特征在于,包括:
当接收到主机下发的写请求,若所述写请求对应待处理数据的占用空间容量值大于预设最小决策采样阈值,计算所述待处理数据的压缩率;
若所述待处理数据的压缩率低于预设最大压缩率阈值,对所述待处理数据进行压缩,同时将所述待处理数据的元数据对应字段标识为压缩数据;若所述待处理数据的压缩率不低于预设最大压缩率阈值,将所述待处理数据的元数据对应字段标记为原始数据;
若所述待处理数据的占用空间容量值不大于预设最小决策采样阈值,对所述待处理数据进行压缩,同时将所述待处理数据的元数据对应字段标识为压缩数据。
2.根据权利要求1所述的数据压缩方法,其特征在于,所述待处理数据的占用空间容量值不大于预设最小决策采样阈值,对所述待处理数据进行压缩包括:
预先分配包括多个待压缩数据区和压缩数据区的缓存区,各待压缩数据区的占用空间容量值等于所述预设最小决策采样阈值;
若所述待处理数据的占用空间容量值不大于预设缓存阈值,将所述待处理数据存储至其中一个待压缩数据区;所述预设缓存阈值小于所述待压缩数据区的占用空间容量值;若所述待处理数据的占用空间容量值大于预设缓存阈值且小于所述预设最小决策采样阈值,将所述待处理数据存储至所述压缩数据区;
若检测到各待压缩数据区中的剩余空间容量值低于容量阈值,同时调用多个压缩线程对各待处理数据进行压缩,同时将各待处理数据的元数据对应字段标识压缩数据;
若检测到所述压缩数据区内的存储数据占用空间容量值与所述预设最小决策采样阈值相同,同时调用多个压缩线程对各待处理数据进行压缩,同时将各待处理数据的元数据对应字段标识压缩数据。
3.根据权利要求2所述的数据压缩方法,其特征在于,所述将所述待处理数据存储至其中一个待压缩数据区包括:
判断存储目标写请求对应待处理数据的目标待压缩数据区的剩余空间容量值是否大于当前时刻写请求对应待处理数据的占用空间容量值;所述目标写请求为对应待处理数据的占用空间容量值不大于所述预设缓存阈值且请求下发时刻与所述当前时刻写请求的请求下发时刻最相近的请求;
若是,将所述当前时刻写请求对应待处理数据存储至所述目标待压缩数据区;若否,将所述当前时刻写请求对应待处理数据存储至所述目标待压缩数据区的下一个待压缩数据区。
4.根据权利要求1至3任意一项所述的数据压缩方法,其特征在于,所述对所述待处理数据进行压缩之后,还包括:
当接收到主机下发的读请求,获取所述读请求对应待读取数据的元数据;
若所述待读取数据的元数据的压缩标识字段为原始数据,将所述待读取数据返回上层业务;若所述待读取数据的元数据的压缩标识字段为压缩数据,调用压缩引擎对所述待读取数据进行解压缩操作,并将解压缩后所得数据返回上层业务。
5.根据权利要求4所述的数据压缩方法,其特征在于,所述当接收到主机下发的读请求,获取所述读请求对应待读取数据的元数据包括:
预先构建多个数据读取线程和每个数据读取线程相对应的数据处理线程;
当同时接收到读请求,调用各数据读取线程获取相应读请求对应待读取数据的元数据,并将读取的元数据传递至相应的数据处理线程。
6.根据权利要求4所述的数据压缩方法,其特征在于,所述当接收到主机下发的读请求,获取所述读请求对应待读取数据的元数据包括:
当同时接收到读请求,读取各读请求的优先级信息;
获取优先级最高的读请求对应待读取数据的元数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011033892.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种双控集群故障恢复的方法、系统及设备
- 下一篇:图谱数据预处理方法及装置