[发明专利]网页信息的获取方法、获取设备及计算机可读介质

权利要求书

1.一种网页信息的获取方法，其特征在于，所述方法包括：

将包含待爬取的URL的网络爬虫队列放入内存数据库中；

从所述内存数据库中的所述网络爬虫队列中取出所述待爬取的URL；

向所述URL对应的网站发送获取请求，所述获取请求用于请求所述待爬取的URL对应的网页；

若从所述网站获取到所述网页，则采用内容解析工具从所述网页中提取网页内容信息；

存储所述网页内容信息。

2.根据权利要求1所述的方法，其特征在于，所述将包含待爬取的URL的网络爬虫队列放入内存数据库中之前，还包括：

按预设优先级规则对所述待爬取的URL进行排序；

将排序后的待爬取的URL放入所述网络爬虫队列。

3.根据权利要求1或2所述的方法，其特征在于，所述向所述URL对应的网站发送获取请求之后，还包括：

若未从所述网站获取到所述网页，则将所述待爬取的URL放回所述内存数据库中的所述网络爬虫队列中。

4.根据权利要求3所述的方法，其特征在于，所述将所述待爬取的URL放回所述内存数据库中的所述网络爬虫队列中，包括：

若所述待爬取的URL的优先级大于或等于预设阈值，则将所述待爬取的URL放回所述网络爬虫队列中的队头位置；或者，

若所述待爬取的URL的优先级小于预设阈值，则将所述待爬取的URL放回所述网络爬虫队列中的队尾位置。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述从所述内存数据库中的所述网络爬虫队列中取出所述待爬取的URL之后，还包括：：

启动一个线程池，并将所述待爬取的URL放入所述线程池中；

所述向所述URL对应的网站发送获取请求，包括：

通过所述线程池，向所述网站发送所述获取请求。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述向所述URL对应的网站发送获取请求，包括：

从预设的代理互联网协议IP队列中抽取IP地址；

通过所述抽取到的IP地址向所述网站发送所述获取请求。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述向所述URL对应的网站发送获取请求之前或之后，还包括：

从所述网站获取验证码图形；

采用文本识别的方式从所述验证码图形中识别出验证码，并将所述验证码发送至所述网站。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述获取请求中包含所述网站登录时的cookie，所述向所述URL对应的网站发送获取请求之前，还包括：

从所述网站登录所使用的浏览器获取所述cookie。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述存储所述网页内容信息，包括：

将所述网页内容信息封装成JSON格式后进行存储。

10.一种网页信息的获取设备，所述设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，所述计算机程序指令被所述处理器执行时，触发所述设备执行权利要求1至9中任一项所述的方法。

11.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现权利要求1至9中任一项所述的方法。