[发明专利]编码器、解码器和方法

说明书

技术领域

本公开涉及用于对输入数据(D1)编码以生成对应编码数据(E2)的编码器；本公开还涉及对输入数据(D1)编码以生成对应编码数据(E2)的方法。另外，本公开涉及用于对编码数据(E2)解码以生成对应解码数据(D3)的解码器；本公开还涉及对编码数据(E2)解码以生成对应解码数据(D3)的方法。另外，本公开涉及包括其上存储有计算机可读指令的非暂时性计算机可读存储介质的计算机程序产品，计算机可读指令可通过电脑化设备执行，电脑化设备包括处理硬件以执行上述方法。另外，本公开涉及编解码器，编解码器包括至少一个上述编码器以及至少一个上述解码器。

背景技术

为本公开提供技术背景的各种已知文献列在与本公开有关的附录中。

通常，用来压缩数据的算法是基于无损耗压缩方法[3]或有损耗压缩方法[4]中的一种。在无损耗压缩中，各种文件(即数据(D1))以数据(D1)可稍后恢复为原样的方式进行压缩。

通常，当对数据(D1)编码时，使用数据删除复制(data de-duplication)方法是公知的，该方法试图除去数据(D1)中的数据段(即当数据(D1)例如短暂地流动时反复出现而没有变化的那些数据段)的副本。已知的数据删除复制方法能够有效地寻找与期望数据块完全类似的这些数据块。

通常，已知的数据删除复制方法通过使用各种不同的方法来寻找先前出现的数据段，诸如：

(i)通过相对于参考数据段，检测给定数据段中的改变的数据元素的数；

(ii)通过计算给定数据段和参考数据段的数据元素之间的绝对差的总和；

(iii)通过利用冗余检验表；或者

(iv)通过采用滑动块方法。

整个文件也可被复制删除，在这种情况下，用来代替复制文件的符号产生出色的压缩比[5]。

另外，可以后处理的方式执行数据删除复制，在这种情况下在数据(D1)已写入之后追溯地执行对关联数据的处理。可替代地，可实时执行数据删除复制，即正在数据(D1)进入给定系统时，在这种情况下给定辨识出的数据块没有完全写入，而是替代地参考之前的、与给定辨识出的数据块彼此类似的数据块。

数据删除复制用于当代信息技术工业的各种分支中，诸如数据存储器中以及数据传送网络中。例如，数据删除复制用于云服务中、系统备份复制中、以及电子邮件服务中，其中连续地传送相互类似的文件，或仅仅稍微变化的基本上相互类似的文件。另外，在互联网通信网络中，发送对请求的响应，来回传送数据字节，并且这些字节主要容纳部分或全部的相同互联网协议(IP)包数据；例如数据删除复制与广域网(WAN)优化有关。

先前众所周知的是，与常规的数据压缩方法相比，已知的数据删除复制方法更具有成本效率。然而，已知的数据删除复制方法具有许多缺点。首先，由于数据删除复制方法试图实现期望的数据压缩比，所以经常使用可观的数据存储和处理能力。通常，需要增加关联的搜索区域，即用于寻找类似性的大量存储器，来提高数据压缩比。另外，需要使用诸如滑动搜索法的CPU加强方法，来提高数据压缩比。滑动搜索法试图通过在搜索区域内移动至由用于实现滑动搜索法所采用的算法指向的方向，以原始方式来识别目标数据块或数据包。

其次，已知的数据删除复制方法不能发现这样数据块或数据包，即内容稍有变化，但是相对于期望数据块仍包含许多未变化数据元素的数据块或数据包。

第三，已知的数据删除复制方法可能导致数据断裂，尤其在实时执行与这些数据删除复制方法有关的处理时。

发明内容

本公开旨在提供采用数据删除复制技术的改进的编码器，数据删除复制技术能够改进编码性能。

另外，本公开旨在提供采用复制技术的改进的解码器，复制技术能够改进解码性能。

在第一方面，本公开的实施方式提供了用于对输入数据(D1)编码以生成对应编码数据(E2)的编码器，其特征在于，编码器包括数据处理硬件，数据处理硬件能够操作为：

(a)确定所述输入数据(D1)内的数据块或数据包的至少部分重现，其中，所述数据块或数据包均包括多个字节；

(b)采用至少一个参考符号来关联所述输入数据(D1)内的相互类似的数据块或数据包的重现，和/或指示所述输入数据(D1)内是否存在相互类似的数据块或数据包的重现，其中给定参考符号被用作相对指示器，所述相对指示器指示给定数据块或数据包相对于其对应参考数据块或数据包的位置，或者给定参考符号被用于指示所述参考数据块或数据包相对于所述给定数据块或数据包的位置；