[发明专利]一种基于维特比算法的网页分类排序动态爬虫方法

摘要

本发明涉及一种基于维特比算法的网页分类排序动态爬虫方法，属于网络数据挖掘技术领域。本发明首先给出种子URL，并将种子URL作为父链接向下爬取，获取出链子链接；基于链接结构计算子链接的入链数；随后获取子链接网页内容并计算网页内容与主题的相似性；通过计算网页的综合评价值，淘汰评价值较低的网页并将剩下的网页作为父链接向下爬取新的链接。重复上述过程，直到爬虫过程中没有新的网页加入，则停止爬虫。本发明方法可以使用户在给定主题的条件下，通过基于维特比算法的动态网络爬虫，可以高效、准确获取特定主题下的重要网站。

主权项

1.一种基于维特比算法的网页分类排序动态爬虫方法，其特征在于：所述方法的具体步骤如下：Step1、得到链接关系网络；首先获取任意与主题相关网页作为种子URL，通过爬取种子网页的超链接，获取出链子代链接，得到父代链接与子代链接的关系图；Step2、计算网页链接价值LV；Step2.1、计算网页链接价值LV，LV计算公式为：其中，LN为网页当前入链数；入链数是一个动态的值，通过爬虫的不断深入，部分网页的入链数会随着增加，逐渐接近真实网络环境中网页的入链数，此步为网络结构的学习过程，随后获得网页的入链数，通过反余切函数对入链数进行归一化处理，得到网页链接价值LV；Step3、通过TF-IDF算法计算网页内容价值CV；Step3.1、统计网页文本词频TF，其中wi为某词在网页中出现的次数，ws为网页中词的总数；Step3.2、计算拟文档频率IDF，其中D为文档总数，DW为某词出现的文档数；Step3.3、计算网页内容价值CV，计算网页内容价值CV反应的是网页内容与主题的相关程度，网页内容价值CV通过TF-IDF算法计算；网页内容价值CV计算公式如下：G＝TF×IDF；Key＝{G1,G2,…,GN}，0＜N＜t；其中，G为某个词的TF-IDF值，Key是存放的是关键词的G集合，t为Key中关键词的个数；CV为网页内容价值，b为Key集合中主题词的数量，N为Key集合数量；Step4、计算父代链接与子代链接的静态综合评价值为：其中，f是父代链接与子代链接的静态综合评价值；LV为网页链接价值；CV为网页内容价值；与分别为网页链接价值和网页内容价值的权值，取Step5、通过维特比算法得到下一层爬虫的父代链接；Step6、重复Step1-Step5，直到爬虫过程中没有新的网页加入，爬虫结束；将爬虫过程中所有爬过的网页的静态综合评价值进行对比，包括所有父代链接与子代链接的静态综合评价值，选取静态综合评价值较高的5个网页。