[发明专利]一种基于党校科研工作主题的网络爬虫系统和方法

说明书

本发明公开了一种基于党校科研工作主题的网络爬虫系统和方法，涉及互联网搜索引擎技术领域。本发明的网络爬虫系统包括初始种子模块、爬行模块、数据库、主题相关度分析模块、排序模块、主题确立模块；网络爬虫工作方法包括：1、爬虫模块取回网页；2、调用相关度分析模块对网页进行相关度分析；3、爬行模块根据分析的结果进行网页剔除或保留动作；4、爬行模块从数据库中取出等待处理的URL；5、排序模块对网页的重要程度进行排序；6、爬行模块判断数据库中是否有新的URL。本发明通过建立一个党校科研工作主题的搜索引擎，利用主题相关度分析模块进行主题优化和网页过滤，提高了党校科研工作网页搜索的相关度和搜索信息的精准度。

技术领域

本发明属于互联网搜索引擎技术领域，特别是涉及一种基于党校科研工作主题的网络爬虫系统和方法。

背景技术

传统的通用的搜索引擎正面临着巨大的挑战：一是Web信息资源呈几何级数增长，搜索引擎无法索引所有的页面；二是不同领域的用户有不同的搜索需求，“广而泛”的通用搜索引擎不能满足专业用户“专而精”的搜索需求。面对这些挑战，各类针对特定人群的“主题搜索引擎”应运而生。

与此同时，随着我国党校科研工作的不断发展，党校科研工作资源已经超过了TB级，但却没有建立起一条有效的信息检索途径，如针对中共中央党校网站(http://www.ccps.gov.cn/)使用百度搜索“马克思主义的当代价值”，查询的结果为0，针对党校科研工作领域亟需建立自己的主题搜索引擎，因此针对以上问题，提供一种基于党校科研工作主题的网络爬虫系统和方法具有重要意义。

发明内容

本发明的目的在于提供一种基于党校科研工作主题的网络爬虫系统和方法，通过在Shark-Search算法的基础上，针对党校科研工作特点对其进行改进，建立一个党校科研工作主题的搜索引擎，通过采用关键词来确立主题，每个关键词拥有指定的不同的权值，利用主题相关度分析模块进行主题优化和网页过滤，解决了现有的党校科研工作主题搜索网页的搜索相关度低，搜索信息精准度低的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明的一种基于党校科研工作主题的网络爬虫系统，包括HTML文档、初始种子模块、爬行模块、数据库、主题相关度分析模块、排序模块、主题确立模块；

所述主题确立模块用于确立爬虫面向的主题；

所述主题相关度分析模块用于进行网页主题相关度的计算；

所述初始种子模块用于生成面向特定主题的较好的种子站点，使爬行模块能够顺利展开爬行工作；

所述HTML文档、初始种子模块、数据库、相关度分析模块分别与爬行模块实时相联；所述排序模块与数据库实时相联；所述主题确立模块与相关度分析模块实时相联。

进一步地，所述主题确立模块采用关键词集来确定主题，其中每个关键词具有指定的不同的权值，所述权值采用特征提取方法。

进一步地，所述主题相关度分析模块用于保证爬虫获取的网页尽可能的向主题靠拢，对爬行模块抓取的网页进行过滤，将主题相关度较低的网页剔除，所述主题相关度分析模块采用的主题相关度计算方法为向量空间模型算法。

进一步地，所述排序模块用于对网页的重要程度进行排序，把价值高的网页排列到前面，以便更容易的被选择到，所述排序模块采用的排序方法为PageRank算法。

一种基于党校科研工作主题的网络爬虫方法包括网络爬虫工作方法、特征提取方法、向量空间模型算法、数据库中主题词收录方法；

所述网络爬虫工作方法包括以下步骤：

S01：所述爬虫模块取回网页；

S02：所述调用相关度分析模块对网页进行相关度分析；