[发明专利]含冗余的数据压缩与解压缩的系统和方法

说明书

本申请要求2013年12月7日提交的美国临时专利申请号No.61/913,295的优先权，以上申请的内容以引用方式全文并入于此。

技术领域

本发明涉及数据压缩与解压缩技术领域，特别涉及含冗余的数据压缩与解压缩。

背景技术

通常通过计算机网络或在存储设备之间通过I/O(输入/输出)界面转存海量数据。例如，用户可将整个主目录从硬盘驱动器转存至非易失性存储器(如闪存驱动器)以对硬盘驱动器进行定期备份，或者可通过因特网转存大文档文件。转存数据可包括冗余数据，即接收者已经处理的数据，例如，用户在闪存驱动器上生成硬盘驱动器定期备份的情况下，将要传输至闪存驱动器的备份数据通常包括闪存驱动器中已经存在的数据。同样地，用户通过因特网转存文档文件的情况下，用户可从网络源(如一个服务器)下载文件、修正该文件并将该文件上传回该网络源，如果该文档文件未完全修正，上传文件版本和下载文件版本之间亦可存在公用数据。传输同时存储于源和目标地的冗余数据会导致I/O界面及因特网带宽的低效利用。现有压缩与解压缩方法未能利用这种数据冗余的优势，因为在千兆字节到兆兆字节数据存储上定位冗余数据通常被认为费时且低效益。

因此，需要一种高效、冗余高定位概率的含巨量数据的冗余数据查找技术，该技术可最小化冗余数据的传输并可提高I/O界面以及因特网有限带宽的利用。

发明内容

本发明实施方式的附加方面及优点在以下说明书中给出并清楚描述，或从本发明实施方式的实施中得到。

根据一些实施方式，一种装置包括存储第一历史数据的存储器；以及至少一个处理器，该处理器设置成接收输入数据，判定所述第一历史数据和所述输入数据的一个或多个部分之间的关系，生成反映所述关系的一个或多个引用令牌，并传输所述一个或多个引用令牌至接收设备。在一些实施方式中，所述引用令牌允许所述输入数据的所述一个或多个部分在所述接收设备中重建。在一些实施方式中，响应于所述输入数据的第一部分与所述第一历史数据的任一部分不相匹配的判定，所述至少一个处理器设置成传输所述输入数据的第一部分至所述接收设备。

根据一些实施方式，所述第一历史数据包括一个或多个第一数据块，其中每一第一数据块关联一个或多个第一签名，所述一个或多个第一数据块包含工作数据块。在一些实施方式中，对所述第一历史数据与所述输入数据的所述一个或多个部分之间的所述关系的所述判定进一步包含：将一个或多个第二签名关联所述输入数据；以及判定至少一个与所述工作数据块关联的第一签名是否与至少一个所述第二签名相匹配。在某些实施方式中，响应于所述工作数据块的至少一个第一签名与至少一个所述第二签名相匹配的判定，将与所述第二签名相匹配的所述第一签名同所述工作数据块的一部分相关联起来，将所述第二签名同所述输入数据的一部分相关联起来，所述至少一个处理器进一步设置成：判定所述工作数据块的所述关联部分与所述输入数据的所述关联部分一致；以及判定关于所述工作数据块的所述关联部分的位置及大小的信息，其中，生成第一引用令牌，所述第一引用令牌包含关于所述工作数据块的所述关联部分的位置及大小的信息。在一些实施方式中，所述第一引用令牌还包括与所述工作数据块关联的识别码。

在一些实施方式中，所述装置进一步包括存储一个或多个第二数据块的数据存储设备，每一第二数据块与一个或多个第三签名关联。所述至少一个处理器进一步设置成：响应于无所述第一签名与任一所述第二签名相匹配的判定，判定是否至少一个所述第三签名与至少一个所述第二签名相匹配。如果至少一个所述第三签名与至少一个所述第二签名相匹配，所述至少一个处理器进一步设置成：从所述数据存储设备中获取与所述第三签名关联的所述第二数据块，该第三签名与所述第一签名相匹配，使获取的所述第二数据块成为工作历史数据块。

根据一些实施方式，所述工作数据块进一步包含一个或多个数据区块，其中至少一个所述第一签名与至少一个所述数据区块关联，并具有第一偏移，该第一偏移反映所述工作数据块中的至少一个数据区块的位置。在一些实施方式中，对关于所述工作数据块的所述关联部分的位置及大小的信息的所述判定包含：在所述工作数据块中，相对于所述第一偏移所反映的位置正向和/或反向查找与所述输入数据的一个或多个部分相匹配的数据。在一些实施方式中，至少一个所述第一签名从诸多子签名中生成，每一子签名从至少一个所述数据区块的一部分中生成。在一些实施方式中，每一所述第一数据块与时间戳关联，所述工作数据块基于与所述工作数据块关联的所述时间戳指定。