[发明专利]数据压缩和解压缩方法及其装置在审
申请号: | 202110350481.9 | 申请日: | 2021-03-31 |
公开(公告)号: | CN112988685A | 公开(公告)日: | 2021-06-18 |
发明(设计)人: | 杨俊;李嘉树;卢冕 | 申请(专利权)人: | 第四范式(北京)技术有限公司 |
主分类号: | G06F16/174 | 分类号: | G06F16/174;G06F16/14;G06F16/13 |
代理公司: | 北京铭硕知识产权代理有限公司 11286 | 代理人: | 张军;苏银虹 |
地址: | 100085 北京市海淀区清*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据压缩 和解 压缩 方法 及其 装置 | ||
提供一种数据压缩和解压缩方法及其装置。数据压缩方法包括:由配置的可编程器件从数据库接收待压缩数据;由所述可编程器件对所述待压缩数据进行压缩来得到压缩数据;由所述可编程器件将所述压缩数据写入到持久化存储装置中的文件中。
技术领域
本申请总体说来涉及数据处理的技术领域,更具体地讲,涉及数据压缩和解压缩方法及其装置。
背景技术
目前,基于持久化存储装置的数据库的压缩方法大多采用在数据库系统内部实现的基于CPU的压缩方法,如图1中所示,在这种情况下,用户无法在不修改数据库系统代码的情况下灵活地改变压缩算法,并且也无法释放CPU资源。CPU进行数据压缩时会大量占用CPU计算资源,使得整个系统性能都受到影响。
另外,在图1中所示的系统中,用户也可以采用在不修改数据库系统的情况下通过修改文件系统在其内部进行数据压缩的方法,然而,在实际使用中,这种方法限制了数据库系统只能运行在具有此文件系统的操作系统上。除此以外,这种方法同样也不利于灵活改变压缩算法,因为这意味着需要最高权限来对操作系统进行修改,代价非常大。
发明内容
本发明的示例性实施例在于提供一种数据压缩和解压缩方法及其装置,以至少解决现有技术存在的上述问题。
根据本发明的示例性实施例,提供一种数据压缩方法,所述数据压缩方法包括:由配置的可编程器件从数据库接收待压缩数据;由所述可编程器件对所述待压缩数据进行压缩来得到压缩数据;由所述可编程器件将所述压缩数据写入到持久化存储装置中的文件中。
可选地,由所述可编程器件从数据库接收所述待压缩数据的步骤可包括:由可编程器件通过POSIX文件系统接口以预定单位从数据库接收所述待压缩数据。
可选地,由所述可编程器件将所述压缩数据写入到持久化存储装置中的所述文件中的步骤可包括:由所述可编程器件通过POSIX文件系统接口将所述压缩数据写入到所述文件中。
可选地,由所述可编程器件将所述压缩数据写入到持久化存储装置中的文件中的步骤可包括:根据与POSIX文件系统接口需要访问的所述文件中的位置有关的信息以及所述数据库访问所述文件时所使用的单位,从所述文件的查找表检索与所述待压缩数据对应的位置字段和大小字段;根据所述位置字段和所述大小字段将所述压缩数据写入到所述文件中。
可选地,根据所述位置字段和所述大小字段将所述压缩数据写入到所述文件中的步骤包括:如果所述位置字段的值和所述大小字段的值是初始值,则将所述位置字段的值设置成所述文件的文件尾的位置,将所述大小字段的值设置成所述压缩数据的大小,并从所述文件中由所述位置字段的值指示的位置处开始写入所述压缩数据;如果所述位置字段的值和所述大小字段的值不是初始值,则根据所述大小字段的值与所述压缩数据的大小之间的比较结果来确定所述大小字段和所述位置字段的最终值,并从所述文件中由所述位置字段的值指示的位置处开始写入所述压缩数据。
可选地,根据所述大小字段的值与所述压缩数据的大小之间的比较结果来确定所述大小字段和所述位置字段的最终值的步骤可包括:如果所述大小字段的值大于或等于所述压缩数据的大小,则将所述大小字段的值更新成所述压缩数据的大小;如果所述大小字段的值小于所述压缩数据的大小,则将所述位置字段的值更新成所述文件的文件尾的位置,并将所述大小字段的值更新成所述压缩数据的大小。
根据本发明的示例性实施例,提供一种数据解压缩方法,所述数据解压缩方法可包括:由配置的可编程器件从持久化存储装置中的文件读取压缩数据;由所述可编程器件对读取的压缩数据进行解压缩来得到解压缩数据;由所述可编程器件将解压缩数据提供给数据库。
可选地,由所述可编程器件从持久化存储装置中的所述文件读取压缩数据的步骤可包括:由所述可编程器件通过POSIX文件系统接口从持久化存储装置中的所述文件读取所述压缩数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于第四范式(北京)技术有限公司,未经第四范式(北京)技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110350481.9/2.html,转载请声明来源钻瓜专利网。