[发明专利]一种传输数据的方法及解码端、编码端

说明书

技术领域

本发明涉及通信领域，尤其涉及到一种传输数据的方法及解码端、编码端。

背景技术

数据冗余消除(Data redundancy elimination，DRE)的基本原理是从流量中找到重复的数据模式，用标签来代替重复数据，在接收端再把重复数据恢复出来。由于标签的长度远小于重复数据的长度，这样就可以节省流量。

现有技术中，DRE用于广域网中，数据中心(DC)与分支机构(BR)通过广域网（Wide Area Network，WAN）连接，冗余消除设备(Redundancy Eliminate Appliance，REA)在DC、BR与WAN之间。从DC发出的数据在REA编码，用标签代替重复数据，经过WAN传输，数据在近BR的REA中解码，重建数据，最后发给BR。

现有技术中，REA的编码端一般由四部分组成：编码器、指纹(Fingerprint,FP)字典模块、数据段(Chunk)字典模块和地址管理模块。编码器控制整个编码流程，并完成对数据的分段。FP字典模块存储之前出现过数据段的FP。Chunk字典为数据段字典，存储之前出现过的数据段。地址管理模块用来管理Chunk字典中的空闲地址，当出现新的数据段时，该地址管理模块要提供存放该数据段的地址。

REA的解码端一般由三部分组成：解码器、FP字典和Chunk字典。解码器控制整个解码的流程，对接收的数据进行解析。FP字典存放FP对应的数据段的地址，利用该地址，从Chunk字典中读出数据段。Chunk字典存放数据段的内容。

例如，编码端将数据分段，并计算出数据段的指纹FP，在FP字典中查找该指纹是否存在，如FP不存在，编码端需要存储该数据段和FP，编码端向地址管理模块请求编码端Chunk字典中空闲地址，得到空闲地址后，编码端存储FP到FP字典，在chunk字典的空闲地址存储该Chunk，编码端将FP和Chunk一起编码，发送到解码端。解码器将收到的压缩数据解析，将FP存入FP字典，将Chunk存入Chunk字典，将数据重构后，向编码端发送解码成功消息。如FP存在，编码端用FP代替Chunk，并发送到解码端，解码器将收到的压缩数据解析，查询FP字典，获得Chunk所在的地址，将Chunk从Chunk字典中读出，将数据重构后，向编码端发送解码成功消息。

为了使解码端能正确的解码，要保证编码端的FP字典与解码端的FP字典一致，解码端的Chuck字典和FP。而实际中，由于解码端和编码端的字典大小不同、字典替换方法不同等原因，解码端字典往往与编码端字典不一致。当解码失败时，需要向编码端请求字典中的条目，这就造成了解码的延时增加和链路上报文数的增加。

对于编码端来说，Chunk字典只是在丢失Chunk的重传时才使用，但占据了大量的空间。此外，Chunk字典保存在存储设备上，造成了存储带宽的开销。对于解码端来说，FP字典只是用来获得Chunk的地址，但也占据了大量空间和存储带宽。

发明内容

本发明实施例提供了一种传输数据的方法，旨在解决如何节约编码端和解码端的存储空间和存储带宽的问题。

第一方面，一种传输数据的方法，所述方法包括：

编码端将数据分段得到分段后的数据段，并计算所述数据段的指纹FP；

在FP字典中查找所述FP是否存在；

如果所述FP在所述FP字典中不存在，请求解码端数据段Chunk字典中所述数据段对应的空闲地址；

当获取所述空闲地址后，将所述数据段的FP和所述数据段对应的空闲地址存储到所述FP字典，并将所述数据段存储到临时缓存区；

将所述数据段的空闲地址和所述数据段进行编码，并将编码后的结果发送到解码端。

结合第一方面，在第一方面的第一种可能的实现方式中，在将所述数据段对应的空闲地址和所述数据段进行编码，并将编码后的结果发送到解码端之后，所述方法还包括:

接收解码端发送的解码成功的消息，释放存储在所述临时缓存区的数据段。

结合第一方面或者第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，还包括：

所述临时缓存区使用先入先出FIFO策略管理数据段。

结合第一方面或者第一方面的第一种可能的实现方式或者第一方面第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述方法还包括：

当所述FP字典中存在所述FP时，则在所述编码端的FP字典中获取所述FP对应的数据段在所述解码端Chunck字典存储的空闲地址；