[发明专利]一种基于农业网页信息采集的网络蜘蛛结构及其工作方法在审
| 申请号： | 201611172608.8 | 申请日： | 2016-12-17 |
| 公开（公告）号： | CN108205548A | 公开（公告）日： | 2018-06-26 |
| 发明（设计）人： | 马廷彦 | 申请（专利权）人： | 哈尔滨派腾农业科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 150036 黑龙江省哈尔*** | 国省代码： | 黑龙江;23 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于农业网页信息采集的网络蜘蛛结构及其工作方法，包括网页下载模块、URL管理模块和网页解析模块；所述网页下载模块通过HTTP网络通信协议与待爬取的网站连接；所述URL管理模块包括URL链接库和初始URL种子队列；所述网页解析模块与网页数据库链接。本发明的基于农业网页信息采集的网络蜘蛛结构及其工作方法，网页下载模块利用HTTP网络通信协议与待爬取的网站建立连接，首先读取该网站根目录下的机器人协议，然后按照约束规则对指定的页面进行读取、下载；URL管理模块对网页抓取顺序、更新策略、访问队列调度等工作进行管理；网页解析模块负责对下载的网页内容进行分析，提取网页上的超链接及文本内容。 | ||
| 搜索关键词： | 网页解析模块 网页下载模块 农业网页 网络蜘蛛 信息采集 读取 网络通信协议 下载 网页数据库 访问队列 更新策略 网页内容 网页抓取 网站建立 网站连接 文本内容 约束规则 超链接 根目录 链接 网站 页面 机器人 网页 调度 分析 管理 | ||
【主权项】：
1.一种基于农业网页信息采集的网络蜘蛛结构，其特征在于：包括网页下载模块、URL管理模块和网页解析模块；所述网页下载模块通过HTTP网络通信协议与待爬取的网站连接；所述URL管理模块包括URL链接库和初始URL种子队列；所述网页解析模块与网页数据库链接。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于哈尔滨派腾农业科技有限公司，未经哈尔滨派腾农业科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611172608.8/，转载请声明来源钻瓜专利网。
