[发明专利]一种在内容分发网络中进行内容管理的方法、装置及系统

说明书

本发明涉及一种在内容分发网络中进行内容管理的方法及装置，上述方法包括：监测边缘节点的已用存储空间是否超出预定的阈值，若是则执行以下步骤：从一个索引系统处获取需保护文件的集合U₁；对该边缘节点进行目录遍历以获取所有最后修改时间与当前时间之间相差超过预定值的文件的集合U₀；获取待删除文件的集合U₂=U₀‑U₁；以及从该边缘节点内删除U₂内的每个文件。根据上述的方法及装置，在内容分发网络中进行内容管理具有硬件开销低、速度快，且不影响服务可用率、不引起服务质量下降的优点。

技术领域

本发明涉及内容分发网络（Content Delivery Network，CDN），特别涉及一种在内容分发网络中进行内容管理的方法、装置及系统。

背景技术

内容分发网络的目的是通过在现有的互联网中增加一层新的网络架构，将热点资源或用户所需的资源分发到最接近用户的边缘节点上，使用户可以就近取得所需的内容，解决互联网网络拥挤的状况，提高用户访问资源的响应速度。

图1所示为一个典型的CDN架构示意图，其中，DC表示数据中心，AC表示区域中心，OC表示边缘节点。当用户请求在距用户网络拓扑距离最近的OC节点命中资源时，由OC直接提供服务；若不命中，则OC节点中的Web服务器返回HTTP302回复，并把用户重定向到DC或AC，这个过程称作一次“回源”。

在一个CDN系统中，提高服务质量（Quality of Service，QoS）的一个重要手段就是尽可能降低回源的概率。但是，如果持续不断地把资源分发到CDN边缘节点，那么由于其存储容量有限，一段时间之后必然达到存储容量的极限而导致服务质量下降。另外，随着时间的推移，有些热点数据逐渐变成冷而失去在CDN边缘节点存储的必要。所以就必须维持边缘节点的存储量不能超过一特定阈值，或者在达到某阈值后执行主动淘汰。另外，一些新业务的上线等场景又要求CDN边缘节点具有更强的主动淘汰的能力。

一个最直接的想法是把OC机房（即CDN的边缘节点）里所有文件按最后访问时间排序，或按类似最近最少使用（Least Recently Used，LRU）的规则维护一个所有文件信息的LRU链表，执行淘汰时，删除最后访问时间最早的或访问链表LRU端的一个或若干个文件。

但是，一直维护一个机房所有文件的信息所费内存空间比较大。而前一种方案每有一次用户访问请求都需要付出O(logn)的调整全局数据结构的额外代价；后一种方案虽然是O(1)的，但如若一旦程序意外崩溃或者有特殊需要人为重启，就要付出O(1)的时间来重建LRU链，但此时的LRU链只具有不能表征访问情况的临时信息，且会对淘汰过程产生滞后影响。

为了避免上述方案的开销，一个粗略的替代实现方案是利用文件系统中的atime属性。atime表示某文件最后一次被访问的时间戳，如果开启atime，那么只需要遍历文件系统中的所有文件，并且在此过程中删除早于一个既定时刻的所有文件即可完成类似于LRU方式的淘汰。然而，而系统更新atime所带来的开销却是巨大的。因为系统每访问一次某个文件，就要对这个文件更新一个新的atime时间值。这里所说的访问，并不是从用户角度来看的打开一个文件，而是系统底层的每一次打开（open）和读取（read）等操作。每对文件进行一次读操作，都要引起一个对磁盘的写操作，即使我们要读的内容已经存在于内存的页缓存（Page Cache）中，还是要对磁盘进行一个写操作。这样引起的开销确实是巨大的，这些写操作会使磁盘更多的处于忙碌状态，这对系统性能（因为磁盘在完成一个写操作的时候会暂时阻止其他的写操作）以及电量消耗都是不利的。所以在实际互联网服务系统中，atime通常是关闭的。虽然Linux2.6.20和2.6.24两个版本的内核分别针对atime做了一些延迟更新的策略，但其在提供海量文件满足海量并发用户的访问需求的系统中所能起到的作用甚微。

所以就需要设计一种开销低、速度快，且不影响服务可用率、不引起服务质量下降的高效淘汰策略。