[发明专利]一种基于维特比算法的网页分类排序动态爬虫方法

说明书

本发明涉及一种基于维特比算法的网页分类排序动态爬虫方法，属于网络数据挖掘技术领域。本发明首先给出种子URL，并将种子URL作为父链接向下爬取，获取出链子链接；基于链接结构计算子链接的入链数；随后获取子链接网页内容并计算网页内容与主题的相似性；通过计算网页的综合评价值，淘汰评价值较低的网页并将剩下的网页作为父链接向下爬取新的链接。重复上述过程，直到爬虫过程中没有新的网页加入，则停止爬虫。本发明方法可以使用户在给定主题的条件下，通过基于维特比算法的动态网络爬虫，可以高效、准确获取特定主题下的重要网站。

技术领域

本发明涉及一种基于维特比算法的网页分类排序动态爬虫方法，属于网络数据挖掘技术领域。

背景技术

随着互联网的飞速发展，网络信息资源急剧膨胀。经CNNIC(中国互联网络信息中心)统计，截止2016年12月，中国网站数为482万个，网页数为2360亿个。此时，高效快速地查询到所需信息是网络用户面临的重要问题。由于网络信息资源繁多，爬虫噪音，传统的通用爬虫根本无法满足用户的需求。因此，面向主题的搜索引擎成为新一轮的研究方向。主题爬虫通过设定特定主题，有针对性的遍历爬取，极大地减少了爬取网页数量，提高了搜索效率。主题爬虫的关键问题在于如何精确判断网页类型，尽可能多的过滤掉无关网页，筛选出用户所需的主题网站。通过基于维特比算法的网页分类排序动态爬虫策略可以大大提高主题爬虫的精度和效率。

发明内容

本发明提供了一种基于维特比算法的网页分类排序动态爬虫方法，以用于尽可能多的过滤掉无关网页，筛选出用户所需的主题网站，以及解决了现有的爬虫方法精度低、爬虫效率不高的问题。

本发明的技术方案是：一种基于维特比算法的网页分类排序动态爬虫方法，所述方法的具体步骤为：

Step1、得到链接关系网络；首先获取任意与主题相关网页作为种子URL，通过爬取种子网页的超链接，获取出链子代链接，得到父代链接与子代链接的关系图；

Step2、计算网页链接价值LV；

Step2.1、计算网页链接价值LV，LV计算公式为：

其中，LN为网页当前入链数；入链数是一个动态的值，通过爬虫的不断深入，部分网页的入链数会随着增加，逐渐接近真实网络环境中网页的入链数，此步为网络结构的学习过程，随后获得网页的入链数，通过反余切函数对入链数进行归一化处理，得到网页链接价值LV；

Step3、通过TF-IDF算法计算网页内容价值CV；网页内容价值CV反映的是网页内容与主题的相关程度；

Step3.1、统计网页文本词频TF，其中w_i为某词在网页中出现的次数，w_s为网页中词的总数；

Step3.2、计算拟文档频率IDF，其中D为文档总数，D_W为某词出现的文档数；由于D_W可能为0但是分母不能为0因此一般情况下用D_W+1；

Step3.3、计算网页内容价值CV，计算网页内容价值CV反应的是网页内容与主题的相关程度，网页内容价值CV通过TF-IDF算法计算；网页内容价值CV计算公式如下：G＝TF×IDF；Key＝{G₁,G₂,…,G_N}，0＜N＜t；

其中，G为某个词的TF-IDF值，Key是存放的是关键词的G集合，t为Key中关键词的个数；CV为网页内容价值，b为Key集合中主题词的数量，N为Key集合数量；

Step4、计算父代链接与子代链接的静态综合评价值为：

其中，f是父代链接与子代链接的静态综合评价值；LV为网页链接价值；CV为网页内容价值；与分别为网页链接价值和网页内容价值的权值，取