[发明专利]一种基于特征识别的混合无损压缩方法及装置

说明书

本发明涉及一种基于特征识别的混合无损压缩方法及装置，其特征在于，包括如下步骤：读取文件并对读取的文件预分析进行区域划分；对划分的每个非连续字符区域进行各个字符的频率计算统计；根据频率的方差值的大小选择不同的算法编码；确定压缩算法的同时，修改文件区域数据，输出压缩文件。本发明的技术方案通过对待压缩文件的预分析，根据文件区域的不同特性，针对文件的数据分布选择合适算法，可以提高压缩效率。

技术领域

本发明属于无损数据压缩技术领域，具体涉及一种基于特征识别的混合无损压缩方法及装置。

背景技术

无损压缩算法的基本原理是，任意一个非随机文件内部都含有重复的数据，这些重复的数据可以使用确定字符或短语出现概率的统计建模技术来压缩。此模型可以为特定的短语或者字符生成代码，基于它们出现的频率，配置最短的代码给最常用的字符。这些压缩技术包括熵编码(entropy encoding)、游程编码(run-length encoding)以及字典压缩。运用这些压缩技术以及其它技术，一个字节长度的字符或者字符串可以用很少的位来表示，从而大量的重复数据被移除。

熵编码：典型的是哈夫曼编码是可变字长编码(VLC)的一种。Huffman于1952年提出一种编码方法，该方法完全依据字符出现概率来构造异字头的平均长度最短的码字，有时称之为最佳编码，一般就称Huffman编码。

游程编码(RLE):将一扫描行中颜色值相同的相邻像素用两个字节来表示，第一个字节是一个计数值，用于指定像素重复的次数；第二个字节是具体像素的值。

字典压缩：代表算法为LZ77，算法描述如下，如果文件中有两块内容相同的话，那么只要知道前一块的位置和大小，我们就可以确定后一块的内容。所以我们可以用(两者之间的距离，相同内容的长度)这样一对信息，来替换后一块内容。由于(两者之间的距离，相同内容的长度)这一对信息的大小小于被替换内容的大小，所以文件得到了压缩。

Huffman在1952年根据香农(Shannon)在1948年和范若(Fano)在1949年阐述的这种编码思想提出了一种不定长编码的方法，也称哈夫曼(Huffman)编码。哈夫曼编码的基本方法是先对文件扫描一遍，计算出各种数据出现的概率，按概率的大小指定不同长度的唯一码字，由此得到一张该文件的霍夫曼码表。

哈夫曼编码步骤：

(1)对给定的n个权值{W1,W2,W3,...,Wi,...,Wn}构成n棵二叉树的初始集合F＝{T1,T2,T3,...,Ti,...,Tn}，其中每棵二叉树Ti中只有一个权值为Wi的根结点，它的左右子树均为空。

(2)在F中选取两棵根结点权值最小的树作为新构造的二叉树的左右子树，新二叉树的根结点的权值为其左右子树的根结点的权值之和。

(3)从F中删除这两棵树，并把这棵新的二叉树同样以升序排列加入到集合F中。

(4)重复(2)和(3)两步，直到集合F中只有一棵二叉树为止。

目前使用的压缩算法，一般使用一种算法实现或者多种算法混合使用。例如zip压缩，第一步使用LZ压缩算法进行初步，第二步再使用哈夫曼编码压缩。现实应用中，某一特定文件，数据的分布有其特征，特定压缩软件或算法无法动态针对文件的分布选择合适的压缩算法。此为现有技术的不足之处。

发明内容

本发明的目的在于，针对上述现有技术存在的缺陷，提供设计一种基于特征识别的混合无损压缩方法及装置，以解决上述技术问题。

为了达到上述目的，本发明的技术方案是：

一种基于特征识别的混合无损压缩方法，包括如下步骤：

读取文件并对读取的文件预分析进行区域划分；