[发明专利]网页内容的获取方法、终端设备及可读存储介质

说明书

本发明公开了一种网页内容的获取方法、终端设备及可读存储介质，所述网页内容的获取方法包括：绑定至少两个IP地址；从网页地址队列中获取目标网页地址，其中，所述网页地址队列中存放的待爬取网页地址的数量小于或等于绑定的所述IP地址的数量；在绑定的所述IP地址中获取所述目标网页地址对应的目标IP地址；通过所述目标IP地址爬取所述目标网页地址对应的网页内容。本发明能够提高网页内容的获取效率。

技术领域

本发明涉及网络爬虫技术领域，尤其涉及一种网页内容的获取方法、终端设备及可读存储介质。

背景技术

目前，通常会使用网络爬虫技术来获取网页内容，然而网络爬虫中最致命的问题当属IP(Internet Protocol，网际互连协议)限制问题。单个IP地址在某段时间内被允许请求指定网站的次数是有限的，若请求次数超过上限，则会被网站识别为爬虫并拒绝请求。当然，IP限制并非是专门针对网络爬虫的，它也是一种防范DoS(Denial of Service，拒绝服务)攻击的措施。普通的异步网络爬虫在爬取时使用的IP地址数量有限，网络爬虫容易达到请求上限而导致请求被拒绝，使得网页内容的获取效率较低。

发明内容

本发明的主要目的在于提供一种网页内容的获取方法、终端设备及可读存储介质，旨在提高网页内容的获取效率。

为实现上述目的，本发明提供一种网页内容的获取方法，所述网页内容的获取方法包括：

绑定至少两个IP地址；

从网页地址队列中获取目标网页地址，其中，所述网页地址队列中存放的待爬取网页地址的数量小于或等于绑定的所述IP地址的数量；

在绑定的所述IP地址中获取所述目标网页地址对应的目标IP地址；

通过所述目标IP地址爬取所述目标网页地址对应的网页内容。

可选地，绑定的所述IP地址为在同一子网下的IPv6地址。

可选地，所述通过所述目标IP地址爬取所述目标网页地址对应的网页内容的步骤之前，还包括：

获取浏览器测试框架Selenium；

所述通过所述目标IP地址爬取所述目标网页地址对应的网页内容的步骤包括：

通过所述Selenium以及所述目标IP地址爬取所述目标网页地址对应的网页内容。

可选地，所述通过所述目标IP地址爬取所述目标网页地址对应的网页内容的步骤之后，还包括：

获取所述网页内容的上下文特征以及空间特征；

生成所述上下文特征对应的特征向量；

生成所述空间特征对应的邻接矩阵；

将所述特征向量以及所述邻接矩阵输入目标图神经网络模型，以确定所述目标图神经网络模型的输出值；

根据所述输出值确定当前爬取动作的目标休眠时长。

可选地，所述根据所述输出值确定当前爬取动作的目标休眠时长的步骤包括：

根据所述输出值确定当前爬取动作的休眠时长的修正值；

获取预设休眠时长；

采用所述修正值修正所述预设休眠时长得到所述目标休眠时长。

可选地，所述绑定至少两个IP地址的步骤之前，还包括：

获取样本数据集，其中，所述样本数据集包括训练集以及测试集；

采用所述训练集训练预设图神经网络模型；