[发明专利]网络设备数据处理方法及系统

说明书

本发明公开了一种网络设备数据处理方法及系统，通过自动的检测、缓存和提前响应，可以在无需其他算法配合的情况下透明、自动地优化网络负载。本发明可以优化目前网络中大量重复数据传输的问题，避免额外的专用硬件开销，也无需复杂的负载均衡算法。此外，本发明也不需要服务器端和客户端的软件算法配合，无需CDN那样需要一个调控中心，也无需人工配置数据镜像，这一切都在网络设备上完成，对于服务器端和客户端都是透明的。对于能检测出来的数据流量和请求流量，会自动地缓存，对重复的数据请求会自动地通过缓存来加速，对于所有其他流量则像正常的交换机一样转发，因此本发明对于现有的网络软件硬件具有良好的兼容性。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种网络设备数据处理方法及系统。

背景技术

近十年来，随着互联网和移动互联网的发展，网络流量的特征已经发生了巨大的变化。互联网在提出之初，以连接不同的设备、主机为主要目标，数据在相互连接的两台主机之间传输。随着互联网越来越深入大众，互联网成为大众获取媒体信息的主要途径，例如，网络中视频传输的流量大大增加，根据有关资料显示，仅视频服务提供商Youtube和Netflix就占据了北美地区下行流量的50.3％。大量的多媒体流量给网络运营商产生了巨大的压力与成本。这些多媒体流量中有很大一部分是内容分发型业务带来的冗余流量，消耗了大量的网络资源。

在传统的内容分发中，用户每获取一个多媒体文件，就要与服务器建立一次连接，这使得大量用户获取相同文件时需要同时与服务器建立连接，而建立连接需要服务器的资源，从而对服务器产生巨大的负担。另外，当前互联网中大量的内容分发型业务会产生大量冗余的内容，内容的重复传输也占用了大量的网络带宽，这些都会降低网络资源利用效率和用户体验。针对重复流量的传输，目前有以下方法：

(1)采用更大的服务器集群和更高的带宽来应对流量需求的增长：内容提供商方面，大型视频网站都趋于采用服务器集群来部署视频分发服务，并且在不断增加服务器的数量，购置更高性能的服务器，以及为数据中心接入更高的网络带宽。运营商方面，也在部署新的网络节点，通过更新设备等来拓展已有网络的吞吐量和带宽。这使得内容提供商可以同时连接(并服务)更多的用户，为用户提供更高的带宽，更高质量的多媒体视频。然而，提升硬件的方法会给内容提供商和运营商带来高额的成本，一方面这不利于企业的发展，另一方面企业也会倾向于让用户来分担这部分成本，从而影响用户体验。

(2)使用内容分发网络(CDN)：CDN通过部署在各地网络边缘的服务器，缩短服务器与用户的距离，在边缘服务器上存储要分发的媒体文件的镜像，通过中心平台的负载均衡、调度等模块，实现高效的内容分发。CDN是目前较为广泛使用的内容分发加速方法，由第三方CDN服务提供商来提供服务。CDN虽然也需要大量服务器，但由于服务器部署在网络边缘，距离用户较近，既可以提供较好的内容分发服务，又节省了骨干网的网络开销。然而，CDN依然需要复杂的算法来进行负载均衡和调度，对于内容提供商而言，购买CDN服务依然需要承担较高成本。

(3)采用新的网络架构，如信息中心网络(ICN)：在ICN中，数据发送方与接收方不需要直接连接，发送方只需要向网络(而不是特定用户)发送数据，接收方则向网络请求数据，双方不需要建立直接的连接也能完成数据的传输，大大减少了重复流量的传输，并且相较于CDN具有更高的效率。然而，当前的互联网一直是在TCP/IP协议上发展的，大量设备、软件都为TCP/IP协议设计，ICN的部署需要现有硬件设备和配套软件的全新升级，对整个互联网而言都是巨大的成本，因而一直没有得到有力推动。

综上所述，对于互联网中大量重复的内容分发问题，各种解决方法都有其优缺点，成本高昂、部署困难以及算法复杂是其难以克服的问题。

发明内容

本发明的目的是提供一种网络设备数据处理方法及系统，可以利用节点的缓存能力来消除冗余内容的传输，从而提高网络资源利用率。

本发明的目的是通过以下技术方案实现的：