[发明专利]一种对CCDN提供商信息进行采集及统计的方法

说明书

 

技术领域

本发明涉及通信领域，特别涉及一种对CCDN提供商信息进行采集及统计的方法。

背景技术

CDN(Content Delivery Network,内容分发网络)，是构建在现有物理网络上的一种覆盖网络。CDN将内容分发存储到网络边缘，通过网络的动态内容分配和全局负载均衡，将用户请求自动指向到健康可用并且距离用户最近的缓存服务器上，有效提高用户访问的响应速度和服务的可用性，从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因而造成的应用服务质量差的问题。CDN的业务通常有：门户网站的图文分发；音视频媒体网站、视频直播或点播网站的流媒体分发，在线软件更新等。由于CDN近年来的快速发展，所以，从市场的份额、基础设施部署、实现技术、服务器性能、发展趋势等方面彻底了解CDN行业，能够很好地指导ICP（Internet Content Provider网络内容服务商）选择合适的CDN，并能够促进CDN的产业的优化发展。

CCDN（Commercial Content Delivery Network,商业的内容分发网络）提供商在市场份额大小、基础设施部署、技术实现、资源管理等方面都有着显著的不同。ICP为了提高自身网站的用户体验，也加大了使用CCDN的力度。根据我们统计发现，2013年ICP使用CCDN的家数比2011年增长了近20%。越来越多的大型互联网内容提供商除了利用CCDN，已经开始部署自己的PCDN（Private Content Delivery Network，私人的内容分发网络），用于提高网站的用户体验。这意味着互联网内容提供商的CDN的选择既不是静态的，也不是唯一的。虽然互联网内容提供商往往让CCDN提供诸如文本和图像这样的静态内容，但由于不同的ICP的业务类型的侧重不同，对于CCDN的选择也会有所不同，因此ICP也倾向于使用不同的CDN提供不同类型的服务。在欧美已经对CDN进行了大量的测量和评估，但是在中国，CDN行业对外界来说仍然是很神秘的。因此，深入地研究中国CDN的现状和发展趋势，是一项很有意义的工作。

发明内容

本发明所要解决的技术问题是提供一种对CCDN提供商信息进行采集及统计的方法，实现市场份额、基础设施部署和QoS 三个维度信息的统计，使得对CCDN的评估更加全面。

本发明实施例中提供的具体技术方案如下：

一种对CCDN提供商信息进行采集及统计的方法，其包括以下步骤：

1）在骨干网选取若干测量节点，利用网络爬虫对目标网站的链接和链接对应的信息进行爬取；

2）从收集到的网页链接提取域名，消除冗余的域名，生成DNS解析所需要的域名列表；

3）根据链接对应信息中的类型属性对域名列表中的链接对象类型进行分类，并统计每个类型字节数的大小；

4）根据ICP的关键域名字段，将爬取到的链接和对应信息按照ICP进行分类；

5）将DNS解析工具分发到各个测量节点上，通过向其附近的公共LDNS服务器进行域名的查询，来获取域名所对应的CNAME,IP地址和NS信息；

6）根据DNS解析工具返回的解析信息，通过把每个域名的CNAME和CDN域名列表进行对比，来发现为域名提供服务的CDN提供商，以此发现CDN所使用的IP数量和服务的域名数量，并将原始网页链接与服务内容的CDN提供商关联起来，为综合统计分析提供数据支持；

7）根据以上步骤获得的信息，对CCDN的市场情况、CCDN的基础设施部署和CCDN的QoS进行统计。

上述步骤7）中，CCDN的市场情况包括：CDN服务的ICP数量和域名数统计、CDN服务ICP内容类型数量和字节数统计、ICP使用CDN统计、CDN市场份额统计。

CCDN的基础设施部署包括： CDN使用IP数量统计、CDN使用IP归属统计、CDN使用IP分类统计。

CDN的的QoS分析统计传输的带宽、传送的时延、数据的丢包率。

综上，本发明所述的一种对CCDN提供商全面评估的方法采用以上技术方案，利用部署在全国40多个城市的测量节点，采用主动测量的方法，收集大量的ICP链接信息，通过对从链接中抽取的域名进行DNS解析和CDN解析后，运用得到的信息对CCDN提供商的市场份额、基础设施部署、CDN的QoS进行了统计分析。与现有技术相比，具有以下技术效果：

1) 对大量的ICP网站进行了链接信息的爬取，运用大数据的统计分析方法，对CCDN进行了统计分析，使得结论更加客观真实；