[发明专利]HTTP主动测量中仿真真实用户负载的方法及系统

说明书

技术领域

本发明涉及计算机网络测量领域，特别涉及一种网页随机游走主动测量方法及系统。

背景技术

由于万维网业务在因特网应用中的重要地位，Web流量的特征和HTTP协议的性能分析一直以来就是研究的热点。常用的HTTP业务性能分析方法包括被动分析法和主动测量法：被动分析法是通过分析服务器或客户端收集的大量包记录，从而建立HTTP业务不同层次相关参数的特征模式，如网页连接数、连接大小等；主动测量法是通过主动探测的方法来模拟不同负载与协议实现的HTTP业务，从而比较不同协议选项的性能差异，改进协议设计与协议实现。由于被动分析方法主要使用服务器或客户端日志信息和包记录，因而对于检验HTTP协议性能和Web流量特征有很多好处，但对端到端路径HTTP业务性能分析以及故障发现来说，缺乏足够的灵活性。而使用主动测量法可以灵活地模拟HTTP业务过程，通过HTTP业务响应及时地给出当前网络的HTTP性能变化，检测可能出现的性能异常并及时做出调整。

传统的HTTP主动测量技术往往是简单地重复对服务器的上一个或多个资源的请求，其业务流量的形式单一，对服务器产生的负载压力比较片面。而真实用户的业务请求有一定的规律，比如：高质量的网页会获得比低质量的网页更多的请求。但传统的测量技术不能仿真出这种真实的业务负载，而是片面地产生单一的资源负载来衡量HTTP业务性能，因而并不能准确反映在真实用户负载下的HTTP业务性能的情况。因此，需要有一种更好的能仿真真实用户负载的HTTP主动测量技术，来准确地反映HTTP业务性能。

本发明用于对一指定网站进行HTTP测量。只需要输入网站的主页，通过本方法就可以对该网站的各个网页分别产生近似于真实用户访问的不同权值大小的负载，从而能对HTTP业务性能进行准确和全面的分析。以下对本发明所用的一些技术做简要介绍。

网络爬虫是搜索引擎的关键技术之一，它是一种计算机程序，不停地从互联网中下载网页，分析并抽取链接，并根据一定的爬行算法来维护下载队列以发现和搜集信息。网络爬虫是通过网页的链接地址来寻找网页，从网站某一个网页（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络爬虫就可以用这个原理把互联网上所有的网页都抓取下来。

著名的PageRank算法（以下称为网页级别算法）是L.Page,S.Brin提出的，网页级别算法的基本思想是：一个网页的重要性由它被引用的次数相关，被其他网页特别是那些已经被认定为“重要”的网页引用的次数越多也就重要。该算法在Google搜索引擎对查询结果排序的应用中有着重要的地位。

网页级别除了考虑到入链数量的影响，还参考了网页质量因素，两者相结合获得了更好的网页重要性评价标准。如果一个网页节点接收到的其他网页指向的入链数量越多，那么这个网页越重要。指向网页的入链质量不同，质量高的网页会通过链接向其他网页传递更多的权重。所以越是质量高的网页指向某网页，则该网页越重要。网页级别算法刚开始赋予每个网页相同的重要性得分，通过迭代递归计算来更新每个网页节点的网页级别得分，直到得分稳定为止。

互联网用户在上网时，往往有类似的网络行为：输入网址，浏览网页，然后顺着网页的链接不断打开新的网页。随机游走模型就是针对浏览网页的用户行为建立的抽象概念模型。

在最初阶段，用户打开浏览器浏览第1个网页，用户在看完网页后，对网页内某个链接指向的网页感兴趣，于是点击该链接，进入第2个网页。用户不断重复以上过程，在相互有链接指向的网页之间跳转。如果对于某个网页所包含的所有链接，用户都没有兴趣继续浏览，则可能会在浏览器中输入另外一个网址，直接到达该网页，这个行为称为远程跳转。随机游走模型就是一个对直接跳转和远程跳转两种用户浏览行为进行抽象的概念模型。

发明内容

在HTTP主动测量中，针对传统测量方式不能有效仿真真实用户负载的问题，本发明的目的在于，提供一种基于网页级别算法的HTTP主动测量中仿真真实用户负载的方法，能对某网站的各个网页分别产生近似于真实用户访问的不同权值大小的负载，从而能对HTTP业务性能进行准确和全面的分析。

为实现上述目的，本发明所提出的HTTP主动测量中仿真真实用户负载的方法，其特征在于，包括以下步骤：