[发明专利]用于资源受限主机的选择性数据冗余消除的系统和方法

说明书

技术领域

本发明涉及一种用于数据冗余消除的系统和方法，以及在具体实施例中，涉及一种用于资源受限主机的选择性数据冗余消除的系统和方法。

背景技术

当前信息技术(IT)组织往往在广域网(WAN)地理上部署其基础设施来提高生产效率，支持全球协作以及最大限度地降低成本，从而构成了当前以WAN为中心的环境。与局域网(LAN)相比，WAN通常是一种覆盖了广阔区域的电信网络；WAN可跨越都市、地区和/或国家边界连接。传统的以LAN为导向的基础设施不足以支持高应用性能、低成本的全球协作。由于WAN的高时延和高丢包率等内在本质，在WAN上部署应用通常会导致性能下降。LAN中不常遇到的很多因素可以迅速导致跨WAN运行的应用性能下降。

提升WAN速度的需求刺激了WAN上的应用性能的改善。WAN优化，通常也被称为WAN加速，大体描述了WAN上的应用性能的提升。WAN加速旨在提供对远程数据(例如文件和视频)的高性能访问。已提出了多种WAN加速技术。一些技术着重于最大限度地提高带宽利用率，其他技术着重于解决延迟问题，还有一些技术着重于解决协议的低效率问题，该低效率问题阻碍了跨WAN的数据包的有效传递。数据压缩降低了在WAN传输期间链路上消耗的带宽量，也可以通过减少传输的数据量来减少特定数据遍历WAN的传输时间。数据冗余消除(DRE)，也称为数据去重，是一种数据精简技术，是数据压缩的衍生。数据压缩通过消除对象内包含的冗余数据来缩减文件大小，而DRE可以识别和消除对象间和对象内复制的数据元素(例如整个文件和数据块)来减少待传输或存储的数据量。当检测到相同数据元素的多个实例时，仅传输或存储该数据元素一个副本。冗余数据元素替换为唯一数据副本的引用或指针。

基于算法粒度，DRE算法可以分为三类：整个文件散列(whole file hashing)、子文件散列(sub-file hashing)和增量编码(delta encoding)。传统DRE，例如网络缓存在应用层操作来消除冗余数据传输。随着互联网中网络流量的快速增长，已基于不同的分块和取样方法部署了对单个数据包进行操作的DRE技术。包级冗余消除识别并消除了所有数据包的冗余数据块。如果在服务提供商的接入链路或路由器之间部署包级冗余消除技术，可以平均节省15％至60％的带宽。

发明内容

根据实施例，一种用于选择性数据冗余消除的方法包括在传输点处接收包含内容的传入数据包，其中所述内容包括内容类型；当所述内容类型匹配选择性冗余消除类型时，使用所述传输点将冗余数据元素从所述数据包中消除；以及当所述内容类型匹配绕过-消除类型时，使用所述传输点绕过选择性冗余消除。

根据另一实施例，一种用于选择性数据冗余消除的网络部件包括处理器以及计算机可读存储介质，所述计算机可读存储介质存储由所述处理器执行的程序，所述程序包括如下指令：接收包含内容的传入数据包，其中所述内容包括内容类型；当所述内容类型匹配选择性冗余消除类型时，将冗余数据元素从所述数据包中消除；以及当所述内容类型匹配绕过-消除类型时，绕过选择性冗余消除。

根据另一实施例，一种用于选择性数据冗余消除(SDRE)的系统包括SDRE管理器，用于维护端到端SDRE列表；包分类器，用于对内容类型的传入数据包进行分类；包缓存管理器，用于在包缓存中存储数据包；以及端到端SDRE模块，用于将冗余元素从数据包中消除，所述数据包的内容类型与用于执行数据冗余消除(DRE)过程的类型相匹配，其中内容类型与用于进行SDRE的类型不匹配的数据包在不执行所述DRE过程的情况下被转发到末端节点。

附图说明

为了更完整地理解本发明及其优点，现在参考以下结合附图进行的描述，其中：

图1示出了用于传输数据的网络；

图2示出了SDRE管理器的实施例；

图3示出了选择性数据冗余消除方法300；

图4为示出了对于不同智能手机流量跟踪和不同大小的数据包存储缓存(从100MB到1MB)SDRE相对DRE的带宽节约率的图400；以及

图5是可用于实施各种实施例的处理系统。

具体实施方式

下文将详细论述当前优选实施例的制作和使用。然而，应了解，本发明提供可在各种具体上下文中体现的许多适用的发明性概念。所论述的具体实施例仅仅说明用以实施和使用本发明的具体方式，而不限制本发明的范围。