[发明专利]基于网络爬虫技术的混合搜索方法

摘要

本发明公开了一种基于网络爬虫技术的混合搜索方法，其综合两种广泛应用的现有策略的特点，使爬虫搜索能够在保证维持一定搜索速度的条件下尽可能多的寻找到与目标网页关联度较高的链接。在搜索过程中，通过计算当前页面所有链接关联度的平均值，并以这个值为基准判断是否将链接加入抓取队列；对于未能入列的URL则转向下一层搜索该网页包含的所有链接，若链接的平均关联度高于基准，则将该网页加入抓取队列，否则丢弃；本发明可扩大爬虫搜索范围，能一定程度的避免搜索陷入局部最优。

主权项

一种基于网络爬虫技术的混合搜索方法，其特征在于包括：步骤1：爬虫程序通过给定的入口网页开始搜索，对入口网页包含的所有URL链接按照与目标网页的相似度或相关性进行评估，给出每个URL的评估值PR；步骤2：根据页面包含的所有URL的评估值PR，统计并计算这些URL评估值的APR平均值；步骤3：对于每一个被包含的URL，将其自身评估值PR与整体平均值APR作对比，若链接的自身评估值PR高于平均值APR，将此链接指向的页面加入抓取队列，并转入步骤5；若链接自身评估值PR低于平均值APR，转入步骤4；步骤4：对自身评估值PR值低于平均值APR的链接，转入此链接所指页面，依然计算页面包含的所有URL的平均值，记为APR'，若APR'高于APR，则指向当前页面的链接加入抓取队列，否则丢弃当前页面及指向它的链接；循环直至评估完步骤3中每个低于APR的页面，再转步骤5；步骤5：以本次加入待抓取队列的所有链接为入口进入下一层，对每个页面重复步骤2、3和4直至满足结束条件为止。