[发明专利]一种高性价比的CDN系统及文件预推、分片缓存的方法

说明书

本发明公开了一种高性价比的CDN系统及文件预推、分片缓存的方法，涉及计算机网络、用于提高IO子系统的性能的技术领域。通过文件预推后台和带有一致性Hash模块的缓存服务器，实现了大文件主动预推，同时，通过利用回源代理模块，实现了大文件分片缓存，有效地降低了系统服务中每个文件使用的回源带宽和存储空间，提高了资源使用率，降低了使用成本；另外，本发明中，通过多层存储系统，有效地提高了系统整体的存储性能，进一步提高了系统的服务性能。

技术领域

本发明涉及计算机网络、用于提高IO子系统的性能的技术领域，尤其涉及一种高性价比的CDN系统及文件预推、分片缓存的方法。

背景技术

CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输得更快、更稳定。通过在网络各地放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网缀流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。

目前，CDN系统都使用反向代理缓存服务器处理用户请求。其工作原理是在文件的第一次请求时，被动回源拉取文件，响应用户的请求的同时，将文件存放在本地缓存。以后的请求将直接由本地缓存吐出。目前常见的开源缓存服务器，如Squid等，对小文件服务良好。但对大文件服务的效果不好，主要原因在于客户请求大文件时，往往未等待文件下载完毕就中断连接，这时缓存服务器将放弃对该文件的缓存，以后的请求将一直回源，直至到有一次完整下载为止。虽然有选项可以忽略用户中止继续回源，但这样又可能浪费回源带宽。同时大文件的请求很可能是分片请求，这时Squid等又将直接回源，而不能缓存文件。

另外，节点内的缓存服务器被DNS调度，同一条URL可能均匀打到节点内每台缓存服务器上，这样导致同一个文件在节点内重复存储，变相于降低整个节点的存储空间，导致冷门文件频繁被淘汰，增加回源带宽。

发明内容

本发明的目的在于提供一种高性价比的CDN系统及文件预推、分片缓存的方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种高性价比的CDN系统，包括：

文件预推后台：用于记录客户的文件预推请求，还用于将文件预推请求进行转换处理后，发送至一个或多个缓存节点；

缓存节点：包括一个Linux虚拟服务器和多台缓存服务器，多台所述缓存服务器分别与所述Linux虚拟服务器数据连接；

Linux虚拟服务器：用于挑选一台缓存服务器，还用于将所述文件预推后台发送的文件预推请求转发到挑选出的缓存服务器上；

缓存服务器：包括一致性Hash模块、多层存储系统和回源代理模块；所述一致性Hash模块用于接收所述Linux虚拟服务器转发的文件预推请求，并根据文件预推请求URL，使用一致性Hash算法确定存储预推文件的缓存服务器的地址和磁盘号；所述多层存储系统用于文件的调度存储；所述回源代理模块用于通过分片缓存的方式处理回源请求。

进一步地，所述缓存服务器还包括业务接入层，所述业务接入层用于满足用户的个性化需求。

可选地，所述文件预推后台采用如下方法实现：

A1，通过任务接入接口接收客户发送的需要预推的任务，并存入数据库；

A2，定时从数据库中读取需要分发的任务，并发送到所有的缓存节点上；

A3，定时从数据库中读取需要进行回调的任务，将任务的完成状态发送到客户提供的任务回调接口；