[发明专利]网页信息的获取方法、获取设备及计算机可读介质在审
| 申请号： | 201810688855.6 | 申请日： | 2018-06-28 |
| 公开（公告）号： | CN109033195A | 公开（公告）日： | 2018-12-18 |
| 发明（设计）人： | 孟祥祥;陈冲 | 申请（专利权）人： | 上海盛付通电子支付服务有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 上海百一领御专利代理事务所(普通合伙) 31243 | 代理人： | 王奎宇;甘章乖 |
| 地址： | 201203 上海市浦东新区自由*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请的目的是提供一种网页信息的获取方法、计算机可读介质及设备，本申请通过在采集网页之前，将包含待爬取的统一资源定位符(URL)的网络爬虫队列放入内存数据库中，避免了由于网络爬虫系统需要重启的时候存放在内存中的URL会消失的问题，可以保证网络爬虫系统重启后，可以快速从内存数据库的网络爬虫队列读取待爬取的URL，保证网络爬虫系统的正常执行；通过采用内容解析工具从获取到的网页中提取网页内容信息，实现对网页内容进行清洗，最后存储所述网页内容信息，实现网页内容信息入库，从而提高了网页内容信息的获取效率和可靠度。 | ||
| 搜索关键词： | 网页内容 网络爬虫系统 计算机可读介质 内存数据库 网络爬虫 网页信息 重启 队列 网页 统一资源定位符 读取 获取设备 内容解析 可靠度 放入 申请 内存 清洗 存储 采集 入库 保证 | ||
【主权项】：
1.一种网页信息的获取方法，其特征在于，所述方法包括：将包含待爬取的URL的网络爬虫队列放入内存数据库中；从所述内存数据库中的所述网络爬虫队列中取出所述待爬取的URL；向所述URL对应的网站发送获取请求，所述获取请求用于请求所述待爬取的URL对应的网页；若从所述网站获取到所述网页，则采用内容解析工具从所述网页中提取网页内容信息；存储所述网页内容信息。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海盛付通电子支付服务有限公司，未经上海盛付通电子支付服务有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810688855.6/，转载请声明来源钻瓜专利网。
- 上一篇：事件显示方法和装置
- 下一篇：一种分布式数据调度系统及方法
