[发明专利]一种网站质量多层钻取系统和方法

权利要求书

1.一种网站质量多层钻取方法，其特征在于，包括以下步骤：

S1、定期获取目标网站的所有元素，建立并更新网站的智能模板库；

S2、采集待分析网络链路中全量用户数据，生成网站中各元素的记录，并根据智能模板库将元素关联到对应的网站；

S3、制定关键质量指标和关键绩效指标，建立网站端到端的质量评估模型，并根据采集到的海量元素，从网站SP、Host、Url和服务器IP多层级对网站质量进行客观评价；

其中，所述步骤S1具体包括：

S11、扫描网站及其首页Host值，逐一登录访问网站首页并加载所有网站首页的页面元素；

S12、采用多线程技术，通过监控线程获取主进程逐一加载的所有网站首页的页面元素；

S13、建立网站SP、首页Host值与所有网站首页的页面元素的Url之间的关联关系；

S14、定期获取最新所有网站首页的页面元素的Url信息，更新至智能模板库中；

其中，所述步骤S2具体包括：

S21、采用深度报文检测DPI设备，通过串接或镜像方式接入链路中，采集链路中全量用户数据，生成标准的业务记录，即为网站中各个元素的记录；

S22、结合智能模板库记录的Referer，将上述元素通过Referer技术进行网站和元素关联；

其中，所述步骤S3中，所述质量评估模型用于将各关键质量指标按照一定的权重进行加权，得到一个网站的总体评分，还用于通过多层钻取技术，实现从网站SP、Host、Url和服务器IP多层级的质量分析，为最终的故障定位和质量提升提供故障排除和资源引入的指导意见。

2.根据权利要求1所述的网站质量多层钻取方法，其特征在于，所述步骤S13具体包括：关联关系先保存的作为智能模板库，通过合并更新方式，插入没有的关联关系，更新已有的关联关系，删除过期的关联关系记录，合并更新同时记录最后更新时间信息。

3.根据权利要求1所述的网站质量多层钻取方法，其特征在于，所述步骤S14具体包括：分析流控网站访问话单时，若发现话单记录Referer为空，则将话单记录Referer与智能模板库进行对比，匹配成功时补全该话单记录的Referer为网站首页的Host值，更正部分资源元素的统计归属。

4.根据权利要求1所述的网站质量多层钻取方法，其特征在于，所述步骤S22具体包括：

S221、利用五元组和用户访问时间，将每个用户的每次访问网站的会话记录分类提取出来，并通过Referer技术匹配网站，将某个用户本地访问的全部会话记录进行关联，得到用户本次访问的具体网站，并初步分析该网站中包含的元素；

S222、对于没有Referer字段的会话记录，通过该会话记录中的Url查找智能模板库中保存的该记录，并且通过智能模板库中记录的Referer能够找到该Url的上级Url最终确定其所属网站；

S223、当一个Url对应多个Referer，分析流控话单时，基于用户标识+时间段框定多条话单记录，该多条话单记录视为同一会话Session，该多条话单记录中发起访问最早的即为首GET，在匹配智能模板库时同时比较首GET与智能模板库中的网站SP首页Host值，若一致则认为匹配成功。

5.一种网站质量多层钻取系统，其特征在于，包括数据采集层、数据挖掘层和业务层；

所述数据采集层用于模拟浏览器访问网站，通过网络抓包方式获取所有Response响应，将获取到的一个网站所有会话记录入库，形成该网站的智能模板库；

所述数据挖掘层用于采用深度报文检测DPI设备，通过串接或镜像方式接入网站链路中，采集链路中全量用户数据，生成标准的业务记录，即为网站中各个元素的记录，并结合网站的智能模板库和Referer技术将得到的元素关联到对应的网站；并通过制定关键质量指标，建立网站端到端的质量评估模型，对网站质量进行多层次分析；

所述业务层用于进行系统管理，并进行任务定义、模型定义、用户识别，将评估结果以报表形式展现；

其中，所述数据采集层包括话单采集模块、Nat日志采集模块和网站资源采集模块；

所述网站资源采集模块用于模拟浏览器去访问网站的网站首页，逐一登录访问网站首页并加载所有网站首页的页面元素，并建立网站的智能模板库；

所述话单采集模块用于采用多线程技术，启动其它线程实时监控主进程的页面元素加载动作，获取主进程加载的所有页面元素的HTTP Request请求的Url链接地址；

所述Nat日志采集模块用于定期获取最新网站资源Url信息，更新至本地配置中；

其中，所述数据挖掘层包括数据提取模块、数据统计模块、数据分析模块和质量评估模块；

所述数据提取模块用于采集用户流量，通过深度报文检测DPI设备的深度报文检测DPI和深度流检测DFI技术将采集到的用户流量进行解析，生成逐条的会话记录；

所述数据统计模块用于利用五元组和用户访问时间，将每个用户的每次访问网站的会话记录分类提取出来；

所述数据分析模块用于把通过Referer关联到的元素与通过智能模板库匹配的元素结合，实现网站元素的完整和准确关联；

所述质量评估模块用于建立网站端到端的质量评估模型，并根据采集到的海量元素，从网站SP、Host、Url和服务器IP多层级对网站质量进行客观评价。