[发明专利]分布式缓存协同中避免内容重复存储的方法和装置

说明书

本发明公开了一种分布式缓存协同中避免内容重复存储的方法：采用二元标识法对内容数据块进行二元标识；基于内容数据块的二元标识建立两级逻辑映射表以组织缓存内容，并基于分布式哈希对缓存内容进行缓存协同；边缘内容路由器从域外接收对某个内容数据块的请求，经过两级路由转发到负责存储该内容的域内节点，由负责对应内容数据块的节点将数据块发送给边缘内容路由器，同时通知更新两级映射对应表项的缓存替换控制状态信息；边缘内容路由器从域外接收某个内容数据块，经过两级路由转发到负责存储该内容的域内内容路由节点，并在路由转发过程中建立对应的两级映射关系。本发明的方法能有效地避免内容的重复存储，降低网络流量，提高用户体验。

技术领域

本发明涉及网络存储和内容分发技术领域，尤其涉及一种分布式缓存协同中避免内容重复存储的方法和装置。

背景技术

目前，用户对互联网的访问已经从点对点通信为主转为内容获取为主。而传统的TCP/IP网络仅传输内容，并不感知内容，从而造成了网络上大量的冗余流量传输。为了解决由于内容获取而引发的内容爆炸，无论是目前的互联网还是研究界提出的未来网络，都把缓存作为基本的手段，来满足用户对内容的具有重尾特征的异步访问。例如，互联网采用的透明的Web Cach,P2P内容分发网络中的PPCache、CDN中的内容缓存，以及研究界提出的信息/内容中心网络NDN，DONA等。无论是内容提供商还是网络运营商，都倾向于在网络内部署泛在的缓存系统来降低网络流量、提高用户体验。

但是，现在的内容在缓存中以URL为标识，而同样的内容在不同的内容提供商处会采用不同的URL标识，导致缓存节点依据URL难以识别实际内容相同的对象，从而会在缓存中重复存储，导致了缓存利用率的低下。因此，在泛在缓存缓存的前提下，亟需提出一种分布式缓存环境下避免缓存内容重复存储的方法。

发明内容

本发明为解决上述技术问题，提供一种分布式缓存协同中避免内容重复存储的方法和装置，能有效地避免内容的重复存储、降低网络流量、提高用户体验。所述技术方案如下：

一方面，本发明提出了一种分布式缓存协同中避免内容重复存储的方法，所述方法包括：

采用提供商依赖标识和提供商独立标识的二元标识法对内容进行标识；

基于二元标识建立两级逻辑映射来组织缓存内容，并以分布式哈希进行缓存协同。其中第一级映射ψ建立提供商依赖标识和提供商独立标识之间的映射关系，第二级映射ω建立提供商独立标识和内容数据块本身的映射关系，其中第二级映射表项还记录了ψ的逆映射关系ψ^-1，ψ^-1(PI(id)＝{PA(id)|ψ(PA(id)＝PI(id))},即对于所给定表项的提供商独立标识PI(id)，当前哪些提供商依赖标识PA(id)映射到该提供商独立标识；

由网络域的边缘内容路由器将从域外到达的请求经过两级路由转发到负责存储该内容的域内节点；

负责内容数据块的节点将对应的数据块发送给边缘内容路由器；

更新两级逻辑映射对应表项的缓存替换控制状态信息；

由网络域的边缘内容路由器在收到某个内容数据块时做出是否要缓存所述内容数据块的决定；

当需要缓存所述内容数据块时，所述边缘内容路由器将内容数据块经过两级路由转发到负责存储该内容的域内内容路由节点，并在路由转发过程中建立对应的二级映射关系。

进一步地，所述提供商依赖标识指内容的标识与提供商相关，因此同样的内容数据块在不同的内容提供商可能具有不同的标识；

进一步地，所述提供商独立的标识指内容的标识与提供商无关，因此同样的内容数据块具有相同的内容标识；

进一步地，所述的内容请求包含对所请求内容数据块的提供商依赖标识；