[发明专利]一种网站质量多层钻取系统和方法

说明书

本发明提供一种网站质量多层钻取方法和系统，所述方法包括以下步骤：S1、定期获取目标网站的所有元素，建立并更新网站的智能模板库；S2、采集待分析网络链路中全量用户数据，生成网站中各元素的记录，并根据智能模板库将元素关联到对应的网站；S3、制定关键质量指标和关键绩效指标，建立网站端到端的质量评估模型，并根据采集到的海量元素，从网站SP、Host、Url和服务器IP多层级对网站质量进行客观评价。通过Referer和智能模板库匹配技术关联网站元素，解决网站元素关联的完整性和准确性问题，通过DPI设备进行网络报文深入分析，通过KQI指标和KPI指标，建立一套垂直的多层次的网站/元素质量评价体系。

技术领域

本发明涉及网络安全技术领域，更具体地，涉及一种网站质量多层钻取系统和方法。

背景技术

目前主流的网站质量分析方案有主动拨测技术和被动监测分析两种方式。

主动监测分析通过模拟终端拨测的方式记录相关的数据，按照对应的算法整理成对应的指标，可方便快捷的得到一个网站的指标情况，指标接近用户的主观感受。主动监测系统，如各地大量建设的自动拨测系统。

被动监测主要通过报文分析等技术手段，采集网络出口的数据报文进行分析，因报文数据是零散的，并未直接对应到一个网站，而多数系统无法关联网站元素，只能分析采集到的各Url的指标，个别系统通过Referer手段去关联网站元素，但因Referer技术本身缺陷，无法实现网站元素的准确关联。因此，现有被动监测系统主要还是分析各个元素或各个服务器IP的相关指标，如时延、成功率等。被动监测方式如通用的上网行为分析系统。

主动拨测技术虽然可以提供部分感知指标，但不具备普遍性，受拨测内容和拨测环境影响较大，无法准确反映网络质量，无法进一步钻取分析，只能从宏观上得到一个网站的好和坏，无法为故障定位提供参考数据。被动监测技术可以提供相关的指标情况，但只能提供网站中各元素的指标，无法提供整个网站的整体感知指标。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的网站质量多层钻取方法和系统，通过Referer和智能模板库匹配技术关联网站元素，解决网站元素关联的完整性和准确性问题，通过DPI(Deep Packet Inspection深度包检测)设备进行网络报文深入分析，通过KQI 指标和KPI指标，建立一套垂直的多层次的网站/元素质量评价体系，基于完备的网站元素关联关系通过多层钻取技术实现故障精准定位。

根据本发明的一个方面，提供一种网站质量多层钻取方法，包括以下步骤：

S1、定期获取目标网站的所有元素，建立并更新网站的智能模板库；

S2、采集待分析网络链路中全量用户数据，生成网站中各元素的记录，并根据智能模板库将元素关联到对应的网站；

S3、制定关键质量指标和关键绩效指标，建立网站端到端的质量评估模型，并根据采集到的海量元素，从网站SP、Host、Url和服务器 IP多层级对网站质量进行客观评价。

作为优选的，所述步骤S1具体包括：

S11、扫描网站及其首页Host记录，逐一登录访问网站首页并加载所有网站首页的页面元素；

S12、采用多线程技术，通过监控线程获取主进程逐一加载的所有页面元素；

S13、建立网站SP、首页Host值与这些页面元素Url之间的关联关系；

S14、定期获取最新网站资源Url信息，更新至智能模板库中。

作为优选的，所述步骤S13具体包括：关联关系先保存的作为智能模板库，通过合并更新方式，插入没有的关联关系，更新已有的关联关系，删除过期的关联关系记录，合并更新同时记录最后更新时间信息。