[发明专利]一种基于代理集群网络缓存加速方法

说明书

技术领域

本发明涉及计算机网络技术，具体是一种基于代理集群网络缓存加速方法，该方法通过将大量重复的静态内容进行缓存，从而使得用户无需去源站请求资源，不仅缓解了现有骨干网拥塞的状况，而且使得用户获得了更好的体验质量。

背景技术

随着互联网技术的飞速发展，人们对互联网上信息量的需求与日俱增，对体验质量的要求也越来越高。各个运营商之间网络资源分配的不均和糟糕的接入时延，以及大量重复内容的访问给骨干网带来了沉重的负担。据思科预计，到2016年全球将会产生高达1.3ZB的网络流量，是2011年全球网络流量的4倍，届时骨干网将会彻底的瘫痪。随着骨干网拥堵不堪的现状愈演愈烈，用户的体验质量变得越来越糟糕。较为明智的做法是在网络出口处设置一个缓存系统，以便将重复的数据流缓存在缓存系统中，同样的用户请求将直接从缓存系统中获取资源，这样不仅解决了骨干网的拥堵状况，而且显著提高了用户的体验质量。

Web中的Proxy Server（代理服务器）位于用户和源服务器之间，它一般具有一个较大的缓冲存储器，负责暂存用户近期访问过的数据。这样，被频繁访问的数据就会被暂时缓存，避免了已有内容的重复请求和传送，减少了网络流量。Proxy Server的缓冲存储器在存满内容后，将根据某种策略进行替换，并且通过相应的算法保证缓存一致性。一般情况下使用Proxy Server的网络与未使用Proxy Server的网络相比，节省网络带宽50%左右。同时，由于客户机与Proxy Server之间的Intranet内部网通常是LAN，速度比Proxy Server到WAN的服务器要快得多，用户在访问缓存中的暂存数据时能够节省大量的时间，从而起到网络加速的作用。显然，当前Web Proxy Server能够提高用户的体验质量，能够在一定程度上节省骨干网的带宽。然而，由于现有的Proxy Server没有做成集群，如果用户的数量过多还是会成为瓶颈，而且由于存储空间的有限也不可能缓存足够多的热点资源。

CDN属于另一种形式的网络加速，它通过在靠近用户的边缘处放置大量的结点服务器，从而形成了在现有的网络基础之上的一层覆盖网络。用户的请求被定向到离其最近的边缘服务器上，避开了网络的拥堵，从而请求可以被更快的响应，而且在极大程度上节省了骨干网的带宽，缓解了骨干网的拥堵。然而CDN部署是针对特定的内容提供商的，各个内容提供商分别部署自己的CDN系统，这样整个系统的成本就会非常大，而且无法做到同时对纷杂的互联网流做加速。

发明内容

本发明所要解决的技术问题是提供了一种基于代理集群的网络缓存加速方法，实现了将现有Proxy服务器集群化后对局域网、城域网等网络的加速，实现的成本及开销非常小。

本发明所述的一种基于代理集群网络缓存加速方法，该方法所应用的网络环境包括用户、本地DNS服务器、Load_balancer服务器及Proxy服务器，该方法包括以下步骤：

1）用户首先向本地DNS服务器发送服务请求；

2）本地DNS服务器将用户请求解析到Load_balancer服务器上；

3）Load_balancer服务器动态维护一张SPH表，同时周期性接收下级Proxy上报的负载状况信息，在接到用户请求后根据Probabilistic算法来选择合适的Proxy服务器给用户；

4）Proxy服务器收到用户请求后，首先对用户的请求做一个hash运算，得到对应资源的缓存目录；然后到得到的缓存目录中去查找是否存在该缓存文件，若缓存命中则会直接将缓存文件返还给客户端；反之若缓存没有命中则会代替用户去源站请求，将请求得到的资源缓存在先前计算得到的缓存目录中。

步骤3）中所述Load_balancer服务器中的SPH表中，每个条目对应于一个SPHNode的结构体，该SPHNode结构体中记录了站点的Hash值、Proxy类表、热点值及热点等级值，所有SPHNode结点形成一个链表的数据结构。

步骤3）的具体过程为：

2.1）添加操作

当用户的访问请求到达Load_balancer服务器上时，Load_balancer服务器首先会依据站点的名称进行hash运算，然后根据hash运算后的结果在SPH表中进行Hash匹配，若匹配不到则触发系统新建一个条目，并进行初始化工作；在初始化的过程中，依据Least load策略选择一个合适的Proxy用来处理此站点的请求，并将此Proxy记录在Proxy列表里，此站点的热点置为1，热点等级初始化为0；

2.2）更新操作