[发明专利]一种基于维特比算法的网页分类排序动态爬虫方法

权利要求书

1.一种基于维特比算法的网页分类排序动态爬虫方法，其特征在于：所述方法的具体步骤如下：

Step1、得到链接关系网络；首先获取任意与主题相关网页作为种子URL，通过爬取种子网页的超链接，获取出链子代链接，得到父代链接与子代链接的关系图；

Step2、计算网页链接价值LV；

Step2.1、计算网页链接价值LV，LV计算公式为：

其中，LN为网页当前入链数；入链数是一个动态的值，通过爬虫的不断深入，部分网页的入链数会随着增加，逐渐接近真实网络环境中网页的入链数，此步为网络结构的学习过程，随后获得网页的入链数，通过反余切函数对入链数进行归一化处理，得到网页链接价值LV；

Step3、通过TF-IDF算法计算网页内容价值CV；

Step3.1、统计网页文本词频TF，其中w_i为某词在网页中出现的次数，w_s为网页中词的总数；

Step3.2、计算拟文档频率IDF，其中D为文档总数，D_W为某词出现的文档数；

Step3.3、计算网页内容价值CV，计算网页内容价值CV反应的是网页内容与主题的相关程度，网页内容价值CV通过TF-IDF算法计算；网页内容价值CV计算公式如下：G＝TF×IDF；Key＝{G₁,G₂,…,G_N}，0＜N＜t；

其中，G为某个词的TF-IDF值，Key是存放的是关键词的G集合，t为Key中关键词的个数；CV为网页内容价值，b为Key集合中主题词的数量，N为Key集合数量；

Step4、计算父代链接与子代链接的静态综合评价值为：

其中，f是父代链接与子代链接的静态综合评价值；LV为网页链接价值；CV为网页内容价值；与分别为网页链接价值和网页内容价值的权值，取

Step5、通过维特比算法得到下一层爬虫的父代链接；

Step6、重复Step1-Step5，直到爬虫过程中没有新的网页加入，爬虫结束；

将爬虫过程中所有爬过的网页的静态综合评价值进行对比，包括所有父代链接与子代链接的静态综合评价值，选取静态综合评价值较高的5个网页。

2.根据权利要求1所述的基于维特比算法的网页分类排序动态爬虫方法，其特征在于：所述步骤Step5的具体步骤为：

Step5.1、通过公式计算出父代链接的转移权值矩阵W；W＝(w₀,w₁,w₂...w_i)；

其中种子URL的转移权值矩阵W为(1)，w_i为某节点中第i个父代链接的权值，f_i为第i个父代链接的静态综合评价值；

Step5.2、根据步骤Step1中得到的父代链接与子代链接的关系图，得到每层的父代链接与子代链接的关系矩阵M：

Step5.3、通过公式计算出子代链接的转移权值矩阵Q；其中种子URL的转移权值矩阵Q为(1)，Q_j为某节点中第j个子代链接的权值，f_j为第j个子代链接的静态综合评价值；

Step5.4、计算子代链接的动态综合评价值矩阵：F＝W×M×Q；

其中，M为父代链接与子代链接的关系矩阵，m_ij,i∈m,j∈n的取值为0或1，0代表非从属关系，1指代父子链接关系；Q为由子代链接静态综合评价值组成的静态评价矩阵，Q中对角线上Q_j为子代链接静态综合评价值，F为子代链接的动态综合评价值矩阵；

Step5.5、通过维特比算法，根据子代链接中动态综合评价值矩阵，筛选出5个动态综合评价值高的链接作为下一层爬虫的父代链接。