[发明专利]用于网络加速以及对高速缓存文件系统进行高效索引编制的系统及方法

说明书

相关申请的交叉引用

本申请要求2009年3月20日提交的的美国临时申请号 61/161,887和2009年3月26日提交的美国临时申请号 61/211,203的优先权，通过引用它们的全文将这两个文献并入本文。

技术领域

本申请总体上涉及数据存储及检索，并且更具体而言，涉及用于网络加速以及对高速缓存文件系统进行高效索引编制的系统及方法。

背景技术

虽然低成本膝上型计算机可能很快改进发展中世界的计算机接入，但它们的广泛部署将增加对本地联网基础设施的需求。在本地高速缓存静态Web内容可以减轻一些此类需求，但是该途径在其有效性上受限，特别是在较小环境中尤为如此。

对于扩充Web高速缓存的一个选择是使用广域网（WAN）加速器，即，使用定制协议对在其间传递的冗余流量进行压缩的设备。这些设备独立于应用，并且可以改进由使用慢速网络链路的客户端所见的延迟以及有效带宽。在第一世界环境中，这些设备通常用于对经由低速WAN链路连接的中央办公室与分支办公室之间的通信进行加速。

WAN加速器被部署在边缘路由器附近，并且通过透明地截取和修改到具有其他WAN加速器的目的地的流量来进行工作。到不具有WAN加速器的目的地的流量穿过未经修改的设备，从而保持透明性。对于所截取的流量，加速器通常将数据流分成更小的块（chunk），在每个加速器处存储这些块，并继而利用对所高速缓存的块的引用来替换该数据的未来实例。通过传递对块的引用而非完全数据，加速器对数据流进行压缩。

对于扩充网络高速缓存的另一选择是改进高速缓存存储引擎。大型企业和ISP尤其从网络高速缓存中获益，因为它们可以将其成本及管理分摊在较大的用户群体上。高速缓存存储系统设计已通过该此类用户成形，从而导致偏爱第一世界使用场景的设计决策。然而，由于盘大小已经比RAM大小更快地增长，因此当今购买百万兆字节（terabyte）的盘比购买能够为如此之多的存储编制索引的机器便宜得多，因为大多数低端服务器具有较低的存储器限制。该盘/RAM关联使得现有高速缓存存储系统对于其中非常期望具有附接至廉价低功率机器的百万兆字节的廉价存储（能够以低于100美元/TB购得）的发展中世界使用成问题。然而，如果为百万兆字节的存储编制索引需要10GB的RAM（对于当前的代理高速缓存是典型的），则这些部署将需要服务器级机器，以及它们的关联成本和基础设施。更糟的是，该存储器专用于由单一服务所使用，从而使得统一的多用途服务器难以部署。该情况尤其令人遗憾，因为在发展中地区中的带宽往往在相对货币和绝对货币上都比在美国和欧洲更为昂贵。

发明内容

在此所描述的说明性实施方式的系统和方法解决了现有WAN加速器和网络高速缓存系统所出现的问题。举例而言，在一个实施方式中，提供一种用于对数据网络上的数据检索进行加速的方法。该方法包括由第一代理设备接收对从最终用户设备向源数据设备发送的数据的请求。第一代理设备建立与第二代理设备的连接。第二代理设备与源数据设备进行通信。第一代理设备向第二代理设备传输针对数据的请求。第二代理设备向源数据设备转发请求，并且从源数据设备接收数据。第一代理设备接收与由第二代理设备从所接收数据中生成的多个数据块对应的多个块名称。第一代理设备使用多个块名称来确定本地数据存储单元是否包含多个数据块中的一个或多个。响应于对本地数据存储单元不包含与多个块名称关联的多个数据块中的一个或多个的确定，第一代理设备确定用于对关联于多个块名称的多个数据块进行检索的优化检索调度。例如，在一些实施方式中，第一代理设备可以确定哪个本地对等设备来请求与多个块名称关联的非本地存储的数据块。此外，在一些实施方式中，如果整体性能增加，则第一代理设备可以在广域网上检索本地存储的数据块，而不是从局域网对等设备或者从本地数据存储对本地存储的数据块进行本地检索。第一代理设备在检索关联于多个块名称的多个数据块之后将数据提供给最终用户设备。