[发明专利]一种基于服务器封包镜像的反爬系统

说明书

本发明提供了一种基于服务器封包镜像的反爬系统，其特点在于通过对服务器接收到的全量请求封包进行镜像复制，在旁路中将封包还原为用户请求，在与服务器分离的反爬分析中心及策略中心内对用户请求进行爬虫特征识别，以上过程不会对服务器正常工作过程产生影响，服务器根据策略中心的识别结果对请求做出相应的处理。通过使用网络层面的请求复制技术，不影响现有系统的运行，并且SDK部署稳定，不需要在策略变化时修改和发布程序，同时，反爬策略可以实时得到更新，令服务器的反爬效果得到及时的升级。

技术领域

本发明涉及一种基于服务器封包镜像的反爬系统。

背景技术

全球互联网请求中约20%为恶意爬虫所产生，数年来比例高居不下，恶意爬虫以窃取互联网上的权威和核心商业数据为目标，非法盗用他人数据而获取私利，还通过强硬的技术手段对加密数据进行破解，广大数据运营厂商深受其害，因此信息安全领域中对于数据防护技术的诉求日渐强烈。

目前业内的反爬技术架构设计通常存在两处不足之处，一是应用程序需要额外增加转发模块，将请求转发至反爬识别系统进行识别，这对于应用程序的负载设计增加了很大难度，同时对于后期应用程序升级、测试和运维将增加很多工作量；二是反爬模块与应用程序存在耦合，反爬模块无法提供独立的分析识别服务，模块可复用性低。

发明内容

本发明提供了一种基于服务器封包镜像的反爬系统，其特点在于通过对服务器接收到的全量请求封包进行镜像复制，在旁路中将封包还原为用户请求，在与服务器分离的反爬分析中心及策略中心内对用户请求进行爬虫特征识别，以上过程不会对服务器正常工作过程产生影响，服务器根据策略中心的识别结果对请求做出相应的处理。对于背景技术中所陈述的业内反爬技术架构设计中存在的不足，本系统给出了有效的应对实践。

本发明通过以下技术方案实现上述设计与目标：

S₁，客户端发送至服务器的封包后发送的流式请求数据传输单元在到达服务器网关时，通过流量复制的方式，将全量封包进行复制，而原始请求正常进入到S₂步骤，复制后的封包进入到S₃步骤；

S₂，原始请求封包正常进入到服务器端进行处理，服务器端将针对此请求向反爬策略中心发送分析请求，反爬策略中心给出爬虫识别结果，服务器针对此结果对请求进行正常响应或抛弃处理；

较佳地，所述步骤S₂包含：

在服务器端应用程序中使用与反爬策略中心相配合的反爬SDK实现策略请求与响应的通讯过程，此SDK适配多种语言，只实现请求与响应的基础通讯过程，因此逻辑稳定无需经常性更新或独立部署，不会对应用程序的后续升级以及测试过程产生额外工作量；

S₃，镜像后的封包，经过封包重组，还原为原始请求数据格式，并筛选其中发往目标程序的有必要监控的请求，并将请求数据整理后，发送至反爬行为分析中心，分析结果用于更新和完善反爬策略中心的识别规则，应用服务器将请求到最新的反爬策略。

较佳地，所述步骤S₃包含：

使用Kafka流处理平台承载大数据量的流式数据封包处理序列实现消息队列，确保请求序列完整，数据分析过程不发生遗漏；

由于是全量封包，数据报的各字段都将完整保留，因此可以进行更为精确的设备指纹记录与用户画像。

在符合本领域常识的基础上，上述各优选条件，可组合使用，达到本发明较佳实例。

本发明的积极进步效果在于：

使用网络层面的请求复制技术，不影响现有系统的运行，并且SDK部署稳定，不需要在策略变化时修改和发布程序，同时，反爬策略可以实时得到更新，令服务器的反爬效果得到及时的升级；