[发明专利]一种批量CDN资源缓存自动化装置

说明书

一种批量CDN资源缓存自动化装置，通过利用大数据技术自动分析大流量出网域名，自动建立批量分析任务，通过调用爬虫工具获取资源及指标信息，自动分析资源信息并生成CDN缓存测试任务执行，执行完成后再次调用爬虫工具触发缓存生效，再通过CDN缓存日志获取缓存资源及指标信息，并与缓存前资源及指标信息进行对比，实现批量资源缓存结果的自动校验，只有校验达到阈值的资源才调用CDN缓存工具以执行正式引入缓存操作，从而有效提高CDN引入缓存资源的数量和质量。

技术领域

本发明涉及CDN资源缓存技术，CDN是内容分发网络(Content DeliveryNetwork)，特别是一种批量CDN资源缓存自动化装置，通过利用大数据技术自动分析大流量出网域名，自动建立批量分析任务，通过调用爬虫工具获取资源及指标信息，自动分析资源信息并生成CDN缓存测试任务执行，执行完成后再次调用爬虫工具触发缓存生效，再通过CDN缓存日志获取缓存资源及指标信息，并与缓存前资源及指标信息进行对比，实现批量资源缓存结果的自动校验，只有校验达到阈值的资源才调用CDN缓存工具以执行正式引入缓存操作，从而有效提高CDN引入缓存资源的数量和质量。

背景技术

CDN的全称是Content Delivery Network，即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。现有CDN资源缓存技术，涉及两个不同步骤：1、缓存资源提取方式，现有CDN 资源引入缓存技术，通过人工方式获取需要缓存的网站/域名，然后通过人工查询或调用爬虫获取资源详情，人工分析资源是否可以纳入缓存以及资源内容是否安全，再手动生成缓存表达式并执行缓存任务。2、缓存效果校验，现有一种CDN质量的主动拨测方法及系统，通过手动任务建立、对象选择、验证访问、任务执行和指标评测的过程，得到最终的CDN 质量评分，使得主动拨测对象CDN质量优劣能够进行直观显示。该方法主要通过对指定资源对象进行拨测的方式实现CDN缓存质量的验证。

现有的CDN资源引入缓存技术，未实现CDN批量资源引入缓存，未实现CDN资源引入缓存全流程自动执行，未实现CDN资源引入缓存效果的自动校验。现有技术存在如下缺陷：1)通过人工方式获取需要缓存的网站/域名，只能被动接受，无法主动分析覆盖大部分大流量出网域名。2)人工查询或调用爬虫获取资源详情，并且人工分析资源是否可以纳入缓存以及资源内容是否安全，分析内容较多，耗费时间较长。3)手动生成缓存表达式，不能保证输出结果完全正确。4)通过拨测的方式验证CDN缓存质量，只能判断缓存后的指标是否达到要求，没法与缓存前指标进行自动比对校验。本发明人认为，如果针对批量CDN资源缓存自动化目标调用爬虫工具、CDN缓存工具、资源内容安全审计工具等外部工具以及多种选择判断，就能够有效提高CDN引入缓存资源的数量和质量。有鉴于此，本发明人完成了本发明。

发明内容

本发明针对现有技术中存在的缺陷或不足，提供一种批量CDN资源缓存自动化装置，通过利用大数据技术自动分析大流量出网域名，自动建立批量分析任务，通过调用爬虫工具获取资源及指标信息，自动分析资源信息并生成CDN缓存测试任务执行，执行完成后再次调用爬虫工具触发缓存生效，再通过CDN缓存日志获取缓存资源及指标信息，并与缓存前资源及指标信息进行对比，实现批量资源缓存结果的自动校验，只有校验达到阈值的资源才调用CDN缓存工具以执行正式引入缓存操作，从而有效提高CDN引入缓存资源的数量和质量。

本发明的技术方案如下：