[发明专利]一种基于统计概率的编码表压缩方法

说明书

本发明公开了一种基于统计概率的编码表压缩方法，该方法通过计算文件中不同信息的概率情况，将计算出的结果作为对比条件，筛选出满足条件的信息作为自定义编码，灵活的拆分出重复的信息，将文件压缩，在保留信息不丢失的情况下，能大幅降低编码数据存储所需要的开销；基于改变对应信息的编码，将原有的一些高位编码，转化为位数较小的低位字节编码，从而达到压缩文件大小的目的。与现有的一些压缩技术相比局有灵活型性、无损耗性，当其也有一些受限的地方，如对多媒体等数字文件压缩表现不明显。

技术领域

本发明属于计算机领域的文件压缩领域，具体涉及一种基于统计概率的编码表压缩方法。

背景技术

伴随大数据时代的来临，数据的规模不断增加，存储数据的开销也日益扩大。如何有效的利用有限的存储资源，降低存储成本，成了当下一个重要的问题。

当下在信息爆炸式的增长情况下，半结构化和非结构化的数据也不断增加，压缩技术作为有效降低存储开销，也越来越被更多企业重视。

发明内容

发明目的：本发明提供一种灵活编码，不受文本大小的限制；能大幅降低信息重复度较高的文件数据的基于统计概率的编码表压缩方法。

技术方案：一种基于统计概率的编码表压缩方法，首先统计原始文件每种信息的频数，并且统计单种信息频率，具体步骤为：

步骤1，基于文件整体的不同信息概率值计算；

步骤2，基于信息概率的比较，筛选出排名靠前的信息，同时不会因为概率的阈值较低而导致误入编码表；

步骤3，存储临编码表是半结构化数据表；

信息频数总÷信息总量，之后计算满足置信区间95％的信息，计算执行度的公式如下：

其中：为信息的均值，α为95％的置信度，S为信息的标准差；

将置信度满足条件的作为构建编码表条件，统计满足条件的信息数量从0开始增加，并用移位操作补全编码位数，保证编码的连续性，在保证信息不丢失的情况下减少编码的位数；再用压缩程序将文件里对应的编码替换为编码表里低位的编码，再将编码表和压缩后的文件组合成一个新的文件，由于动态的生成编码，使得编码表具有高扩展型，同时又不会受到数据的离散的影响。

具体地，所述解压压缩文件的规则为，将压缩文件分解为数据文件和编码表文件，通过逆向转换将已改变的编码还原为原始编码，由于编码满足置信阈为95％的条件，因此在解压的过程中不会出现因编码表过大而导致的额外的计算开销。

有益效果：与现有技术相比，本发明的优点在于：能有效减少数据存储的统计概率的编码表压缩方法能比较好的处理半结构化和非结构的数据，灵活编码，不受文本大小的限制；能大幅降低信息重复度较高的文件数据；基于改变对应信息的编码，将原有的一些高位编码，转化为位数较小的低位字节编码，从而达到压缩文件大小的目的。与现有的一些压缩技术相比局有灵活型性、无损耗性，当其也有一些受限的地方，如对多媒体等数字文件压缩表现不明显。

附图说明

图1是本发明的系统结构图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

如图1所示，一种基于统计概率的编码表压缩方法，能灵活处理重复信息的文本压缩技术，由于许多文件都会存在信息重复的情况，而这些文件重复信息概率常常又趋近于正态分布，因此如果将重复的信息定义一些规则，便可将这些重复数据利用起来，达到减少重复编码带来的存储消耗；