[发明专利]一种基于党校科研工作主题的网络爬虫系统和方法在审
| 申请号： | 201810736630.3 | 申请日： | 2018-07-06 |
| 公开（公告）号： | CN108959576A | 公开（公告）日： | 2018-12-07 |
| 发明（设计）人： | 徐玉红 | 申请（专利权）人： | 合肥明高软件技术有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 上海精晟知识产权代理有限公司 31253 | 代理人： | 冯子玲 |
| 地址： | 230000 安*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于党校科研工作主题的网络爬虫系统和方法，涉及互联网搜索引擎技术领域。本发明的网络爬虫系统包括初始种子模块、爬行模块、数据库、主题相关度分析模块、排序模块、主题确立模块；网络爬虫工作方法包括：1、爬虫模块取回网页；2、调用相关度分析模块对网页进行相关度分析；3、爬行模块根据分析的结果进行网页剔除或保留动作；4、爬行模块从数据库中取出等待处理的URL；5、排序模块对网页的重要程度进行排序；6、爬行模块判断数据库中是否有新的URL。本发明通过建立一个党校科研工作主题的搜索引擎，利用主题相关度分析模块进行主题优化和网页过滤，提高了党校科研工作网页搜索的相关度和搜索信息的精准度。 | ||
| 搜索关键词： | 相关度 爬行 网络爬虫系统 分析模块 工作主题 网页 数据库 排序模块 科研 互联网搜索引擎 工作网页 模块判断 爬虫模块 搜索信息 搜索引擎 网络爬虫 网页过滤 精准度 取回 调用 排序 剔除 搜索 分析 取出 保留 优化 | ||
【主权项】：
1.一种基于党校科研工作主题的网络爬虫系统，其特征在于，包括HTML文档、初始种子模块、爬行模块、数据库、主题相关度分析模块、排序模块、主题确立模块；所述主题确立模块用于确立爬虫面向的主题；所述主题相关度分析模块用于进行网页主题相关度的计算；所述初始种子模块用于生成面向特定主题的较好的种子站点，使爬行模块能够顺利展开爬行工作；所述HTML文档、初始种子模块、数据库、相关度分析模块分别与爬行模块实时相联；所述排序模块与数据库实时相联；所述主题确立模块与相关度分析模块实时相联。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于合肥明高软件技术有限公司，未经合肥明高软件技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810736630.3/，转载请声明来源钻瓜专利网。
