[发明专利]一种基于农业网页信息采集的网络蜘蛛结构及其工作方法在审
| 申请号： | 201611172608.8 | 申请日： | 2016-12-17 |
| 公开（公告）号： | CN108205548A | 公开（公告）日： | 2018-06-26 |
| 发明（设计）人： | 马廷彦 | 申请（专利权）人： | 哈尔滨派腾农业科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 150036 黑龙江省哈尔*** | 国省代码： | 黑龙江;23 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 网页解析模块 网页下载模块 农业网页 网络蜘蛛 信息采集 读取 网络通信协议 下载 网页数据库 访问队列 更新策略 网页内容 网页抓取 网站建立 网站连接 文本内容 约束规则 超链接 根目录 链接 网站 页面 机器人 网页 调度 分析 管理 | ||
【权利要求书】：
1.一种基于农业网页信息采集的网络蜘蛛结构，其特征在于：包括网页下载模块、URL管理模块和网页解析模块；所述网页下载模块通过HTTP网络通信协议与待爬取的网站连接；所述URL管理模块包括URL链接库和初始URL种子队列；所述网页解析模块与网页数据库链接。
2.一种基于农业网页信息采集的网络蜘蛛结构的工作方法，其特征在于，所述方法包括以下步骤：
第一步，访问URL链接数据库，得到URL入口地址，生成具有优先级属性的有序访问队列；
第二步，网页下载模块通过HTTP协议与目标网站建立socket连接，然后按照网站根目录下的机器人协议进行下载；
第三步，网页分析模块对上一步下载的网页进行解析，提取页面内的超链接，添加到URL数据库中等待网络蜘蛛进行爬取；
第四步，依据预先设定的存储规则，把下载的网页内容存储到本地网页数据库中，为下一步索引工作做准备；
第五步，不断重复上述过程直到全部下载任务完成，或满足爬虫结束的条件，等待新的任务。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于哈尔滨派腾农业科技有限公司，未经哈尔滨派腾农业科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201611172608.8/1.html，转载请声明来源钻瓜专利网。
