[发明专利]一种页面反爬的方法、装置、存储介质和网关设备

说明书

本发明实施例提供了一种页面反爬的方法、装置、存储介质和网关设备。本发明实施例中，通过对称密钥对http请求的特定字段中的加密信息进行解密，若解密成功，则生成请求时间字段和第一请求时间哈希值，对所述请求时间字段哈希计算，生成第二请求时间哈希值，通过判断所述第一请求时间哈希值和所述第二请求时间哈希值是否相同，若判断出哈希值不相同，则丢弃所述http请求，从而能够精准识别爬虫，保证了保护网页的安全，提高反爬效率。

【技术领域】

本发明涉及通信技术领域，尤其涉及一种页面反爬的方法、装置、存储介质和网关设备。

【背景技术】

目前网络中存在不计其数的网络爬虫，网络爬虫是一种用来自动浏览万维网的网络机器人，它可以将所访问的页面保存下来。不法分子利用爬虫获取大量的网站内容进行倒卖，这对网民的隐私数据的安全造成了极大的威胁。

互联网页面爬与反爬是信息安全领域长期的战斗，马蜂窝事件再次说明爬同业数据现象相当普遍。而在现有的反爬技术中，通常采用访问控制、权限控制、流程控制、智能监测和阻断、前端字符渲染等多种方式进行反爬工作，但仍然存在识别爬虫不精准，反爬效率低的问题。

【发明内容】

有鉴于此，本发明实施例提供了一种页面反爬方法、装置、存储介质和网关设备，用以解决现有技术中的识别爬虫不精准，反爬效率低的问题。

一方面，本发明实施例提供了一种页面反爬的方法，所述方法包括：

接收客户端发送的http请求；

通过对称密钥对http请求的特定字段中的加密信息进行解密，若解密成功，则生成请求时间字段和第一请求时间哈希值；

对所述请求时间字段哈希计算，生成第二请求时间哈希值；

判断所述第一请求时间哈希值和所述第二请求时间哈希值是否相同，若判断出所述第一请求时间哈希值和所述第二请求时间哈希值不相同，则丢弃所述http请求。

可选地，若判断出所述第一请求时间哈希值和所述第二请求时间哈希值相同，则将所述http请求转发给服务器。

可选地，所述方法还包括：若解密失败，则丢弃所述http请求。

可选地，所述通过对称密钥对http请求的特定字段中的加密信息进行解密之前还包括：

查询所述http请求中是否包括特定字段；

若查询出所述http请求中包括特定字段，则继续执行所述通过对称密钥对http请求的特定字段中的加密信息进行解密的步骤；

若查询出所述http请求中不包括特定字段，则丢弃所述http请求。可选地，所述请求时间字段包括请求时间字段标识和请求时间；所述若判断出所述第一请求时间哈希值和所述第二请求时间哈希值相同之后，还包括：

获取当前系统时间；

判断所述当前系统时间和所述请求时间的差值是否大于第一阈值；

若判断出所述当前系统时间和所述请求时间的差值大于第一阈值，则丢弃所述http请求。

可选地，所述方法还包括：若判断出所述当前系统时间和所述请求时间的差值小于或者等于第一阈值，则继续执行所述将所述http请求转发给服务器的步骤。

可选地，所述丢弃所述http请求之后，还包括：

生成丢弃的http请求的非法请求日志；

从所述非法请求日志中识别出丢弃的http请求对应的用户信息；

根据所述用户信息对携带所述用户信息的http请求进行拦截。