[发明专利]一种适用于视频服务的缓存服务器部署方法

权利要求书

1.一种适用于视频服务的缓存服务器部署方法, 其特征在于视频客户端通过访问更近的缓存代理服务器，达到共享远程源站点服务器上的视频的作用，缓存服务器能分担、减少源站点的访问压力，更近的缓存服务器能为客户端提供更有质量的视频服务，步骤如下：

缓存代理服务器上，在AUFS文件存储模式下，缓存代理在缓存目录下创建二级子目录树，用L1和L2分别表示第一级目录和第二级子目录，在顶级cache_dir目录下创建一定数量的L1，在每个L1下创建一定数量的L2， L1下不直接存放视频文件， L2下存放的才是真正的视频文件，视频文件用A代替，大小平均1-2M，每个L2下存储的文件数量，用N表示， 则整个系统存放文件的数量的关系式为：size=L1*L2*N*A，SIZE单位为MB，为了减少检索的时间，深度搜索的目录不易太多，也就是L2下面的文件数量不易太多，控制在100个文件左右， L1和L2的设置，对缓存代理性能有很大影响，理论研究L2比L1大，这样能保证在同一级目录下搜索到更多的相关文件，而不用重新搜索上级目录；

正常使用缓存代理，首先适当修改内核，具体涉及：

操作系统内核是RHEL 4 AS4；

关于文件描述符的有：

/proc/sys/fs/file-max 8192->1006154

 FD_SETSIZE涉及下面几个文件：

/usr/include/linux /typesize.h 

/usr/include/linux/bits FD_SETSIZE 

/usr/include/linux/posix_types.h 

ulimit –Hn 1006154

在编译缓存代理的过程中，查看修改信息：Maximum number of file descriptors we can open... 65536

关于防止网络拥塞的有：

/prco/sys/net/ipv4/neigh/default gc_thresh1、gc_thresh2、gc_thresh3 将值分别扩大8倍分别修改为1024、5120、10240；

/Prco/sys/net/ipv4、ip_forward 0修改为1， 即运行前监测；

/etc/security/limit.conf 将* － nofile 65536或更大的1006154加入；

以上参数均在编译squid之前修改才有用；

为了能在缓存服务器中使用AUFS,需要在编译的时候，将AUFS的相关参数进行编译，具体如：

1）使得--enable-storeio 包含AUFS存储格式，默认只有ufs；

2）选中--enable-epoll，能有效的支持IO访问;

3）根据磁盘的数量，有效的配置异步IO的参数量：--enable-async-io

4）启动大文件参数 --with-large-files

5）设置系统的线程数--with-threads=N  

6）将系统支持的最大文件描述符数量设置大些--with-maxfd=32768；

     选择多硬盘的服务器，目前1U的服务器最多只能挂载4硬盘，除去系统盘，还只能有3块用作缓存代理，而使用2U服务器，能够使用作缓存代理的硬盘位达到7块，对于娱乐应用的服务器，重要的是访问，响应速度，因此系统存储端采用不作RAID方式，以保证访问读写速度；

编译完成以后，需要在缓存代理配置文件中根据磁盘数配置主要的文件缓存目录：

cache_dir aufs /cc1 500000  32  512    设置一个缓存目录的存储模式为aufs，目录名称为cc1，也就是磁盘的挂载点，整个目录的大小为500000M（500G）；

cache_dir aufs /cc2 500000  32  512  

……

配置有效的用户和用户组：

cache_effective_user squid

cache_effective_group squid

增加缓存代理服务器的内存，缓存代理用到的数据都是经过后端硬盘，而访问硬盘会需要很多时钟周期，将系统内存分配给缓存代理使用，将大部分读写直接在内存上完成，能使数据的读写能力大大的提高，分配整个系统1/3左右的内存资源作为cache_mem使用，会使得缓存代理与系统性能发挥的更佳；缓存代理关心的几个重要指标分别是命中率，响应时间，吞吐量，测试结果表明：

1）aufs相对于ufs和diskd存储模式，响应时间上，缩短50％以上；吞吐量却提高1倍以上；命中率也提高很多；

2）4磁盘的aufs比2磁盘的aufs在响应时间和吞吐量上都有很大提高；

3）适量的内存作为缓存使用，不管哪种存储模式，各项指标都有很大提高。