[发明专利]一种基于熵编码的编解码方法、系统、存储介质及设备

说明书

本发明提供了一种基于熵编码的编解码方法、系统、存储介质及设备，方法包括：响应于待编码符号中有部分符号已完成编码，将未完成编码的剩余符号对应的概率的总和作为剩余概率；响应于当前符号预备进行编码，计算当前符号的当前概率对应的码长，并基于码长和剩余概率计算阈值；基于阈值对码长进行修正，以得到新码长；基于当前概率和阈值得到当前码字，并对当前码字进行解码。本发明解决了现有技术中在熵编码中采用等长编码的方式会造成信息冗余的问题，缩减了编码所需的位宽，进而缩减了数据量，有利于节省存储空间。

技术领域

本发明涉及编解码技术领域，尤其涉及一种基于熵编码的编解码方法、系统、存储介质及设备。

背景技术

随着互联网、物联网等技术高速发展，人类社会已经进入“万物互联”时代。云计算、大数据、人工智能、区块链等前沿技术的迅速发展，催生了数据爆发式增长。在产业数字化转型的持续发展中，数据成为关键生产要素。面对持续增长的海量数据，数据压缩成为减轻服务器存储负担、降低存储成本的最有效方法。

数据压缩在不丢失有用信息的前提下，通过缩减数据量以减少存储空间，可以提高传输、存储和处理效率。无损数据压缩一般通过两种方法来实现：一种是通过字典的方式实现压缩的算法，包括LZ系列算法，这类算法能实现重复数据的搜索功能；一种是基于频率统计模型的熵编码算法，如Huffman(哈夫曼)编码、算术编码、非对称数字系统(ANS)等，这类算法的核心思想是依照符号出现频率分配码长，符号频率越大，码长就越短，可以用如下两个公式描述：

P(1)≤P(2)≤P(3)…≤P(N-1)≤P(N)

L(1)≥L(2)≥L(3)…≥L(N-1)≥L(N)

为了实现更高的压缩率，当前最常见数据压缩算法都会采用上述2种方法进行混合压缩。所有的压缩算法都需要定期(分块)对熵编码的概率分布进行更新并封装编码。Deflate协议在封装哈夫曼编码时，虽然仅仅编码封装每个符号哈夫曼码长，其实码长等效于概率为2的负幂次方。对于追求更高压缩比的熵编码算法，例如算术编码和非对称数字系统，两者都追求更精确的概率，以接近于信源的信息熵。

数据压缩算法通常基于分块数据进行概率统计，为了能使解码端准确解码恢复压缩数据，需要将编码器统计得到的概率分布编码封装进压缩数据。解码端通过解析得到与编码端相同的概率分布，进而准确恢复原始数据。

当前大多数压缩格式采用等长编码的方法，依次封装符号的概率，封装时每个概率采用统一的编码码长n。

例如：如下概率分布：{8,17,4,5,1,1,2,3,12,40,37,5,2,19,18,17,17,1,13,5,2,1,24,1,1}，其概率总和为256，因此每个概率编码码长n＝8,那么封装这个概率集合需要的总码长为200(即25*8)bit。

等长编码之所以采用概率总和对应的位宽n，是因为单个概率可能的取值较大，并且解码端无法知道概率的取值，只能以最大的位宽解码概率。然而，概率分布的封装是依次对概率进行序列封装，因此编码完成一个概率后，后续的概率取值范围(极大值)相应会减小。上例中，当编码封装完成第一个概率“8”时，第二概率的取值范围将变为[0,248]。需要说明的是这个概率的取值范围对于解码端是可感知的。

基于此，编码完成一个概率后，不仅可以计算后续该概率的可能取值范围(极大值)，而且可以适时更新后续概率的位宽。例如当编码完37后，后续概率的取值范围更新为[0,126],此时可以将后续概率的编码位宽调整为

将编码流程中尚未编码的概率总和叫做剩余概率。由剩余概率可以计算得到一个编码位宽，由信息论可知，最佳码长为显然前者不小于后者，存在一定的信息冗余。为了解决此项信息冗余，需要一种码长变化的，尤其是码长可以缩小的编码方式。

发明内容