[发明专利]一种基于加密混淆保护网站资源的反爬虫方法及系统

说明书

本发明公开了一种基于加密混淆保护网站资源的反爬虫方法及系统，客户端向服务端发送HTTP请求时，在请求链接地址中添加MD5加密密钥，并在所述请求的头部加入AES加密密文；并对所述HTTP请求的JavaScript代码进行混淆；服务端在获取到所述请求后根据提取到的MD5加密密钥以及AES加密密文进行一致性校验，校验通过后向客户端返回正常数据，否则拒绝所述请求或返回脏数据。通过对客户端执行方法的混淆和请求参数加密的安全过程，提升爬虫对请求的分析、模拟、还原的难度，增加API请求响应过程的分析难度，进而保护服务不会被轻易破解，提升API的安全性。

技术领域

本发明涉及反爬虫技术领域，具体涉及一种基于加密混淆保护网站资源的反爬虫方法及系统。

背景技术

在当今数字化经济的发展中，爬虫技术早已渗透到科技发展和业务创新的方方面面。然而，在接替人工枯燥和规律性操作的背后，也隐藏着大量的爬虫自动化威胁。特别是借助机器学习和人工智能技术，爬虫技术在效率和智能化的飞速提升，让爬虫自动化威胁更具隐蔽性。随着爬虫的无处不在，企业在获得善意爬虫带来的高价值同时，也正在面临越来越严峻的恶意爬虫的威胁。

当前反爬虫的常用技术有以下几种：1、检测IP地址的访问频率；2、检测用户行为是否存在周期性；3、检测访问请求是否包含需要的参数；4、对返回内容进行加密；5、对JavaScript请求参数进行加密；6、通过ajax动态加载；7、使用数字/滑动验证码。这些方法要么能用普通的爬虫方法绕过，要么会影响用户的体验，多一道验证码的步骤。

因此，亟需研制一种有效反爬技术弥补现有技术的不足。

发明内容

为此，本发明提供一种基于加密混淆保护网站资源的反爬虫方法及系统，以解决现有技术存在的反爬虫效果不好，影响用户体验，数据安全性无法保障的问题。

为了实现上述目的，本发明提供如下技术方案：

根据本发明实施例的第一方面，提出一种基于加密混淆保护网站资源的反爬虫方法，所述方法包括：

客户端向服务端发送HTTP请求时，在请求链接地址中添加MD5加密密钥，所述MD5加密密钥是通过对时间戳加随机盐值使用MD5消息摘要算法加密得到，并在所述请求的头部加入AES加密密文，所述AES加密密文是使用AES加密算法对包含所述时间戳和随机盐值的请求参数进行加密得到密文，再添加随机数据字符串后得到；

对所述HTTP请求的JavaScript代码进行混淆；

服务端在获取到所述请求后根据提取到的MD5加密密钥以及AES加密密文进行一致性校验，校验通过后向客户端返回正常数据，否则拒绝所述请求或返回脏数据。

进一步地，对所述HTTP请求的JavaScript代码进行混淆，具体包括：

对JavaScript代码进行常量混淆以及运算混淆处理；

对JavaScript代码进行控制流扁平化处理；

对JavaScript代码进行语法丑化处理；

对JavaScript代码进行压缩处理。

进一步地，服务端在获取到所述请求后根据提取到的MD5加密密钥以及AES加密密文进行一致性校验，具体包括：

网站服务器对请求链接的MD5加密密钥进行提取，对请求头部里的AES加密密文进行提取，将提取的AES加密密文进行对称还原得到请求时的时间戳和随机盐值，通过验证时间戳和随机盐值的加密值与请求链接里的MD5加密密钥的一致性来判断请求的真伪。

进一步地，所述AES加密密文的获取方法包括：

a、明文以参数的形式传入AES加密算法；