[发明专利]一种基于服务器封包镜像的反爬系统在审
申请号: | 201810547086.8 | 申请日: | 2018-05-31 |
公开(公告)号: | CN108494809A | 公开(公告)日: | 2018-09-04 |
发明(设计)人: | 郭兴华;刘鑫;郝缙;单学钟;李禹霆;赵利;孙国洋;张继璘;吴晓庆 | 申请(专利权)人: | 博雅创智(天津)科技有限公司 |
主分类号: | H04L29/06 | 分类号: | H04L29/06;H04L29/08 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 300202 天津市河西区*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 服务器 策略中心 用户请求 封包 正常工作过程 服务器接收 爬虫 分析中心 封包还原 镜像复制 请求封包 特征识别 网络层面 现有系统 旁路 复制 更新 升级 发布 部署 | ||
1.一种服务器反爬系统,其特征在于,通过对服务器全量请求数据封包进行镜像复制后,在旁路中进行重组还原为原始请求数据,然后针对复制的请求数据进行恶意爬虫的行为特征分析,此分析方式不会对现有应用系统的请求处理过程产生影响。
2.如权利要求1所述的系统,其特征在于,该系统包含了镜像模块、重组筛选模块、反爬行为分析中心与策略中心以及用于应用程序与策略中心通讯的SDK:
镜像模块用于复制服务器端全量请求封包数据单元;
重组筛选模块用于将复制后的请求封包数据单元重新组合还原为原始请求,并筛选其中有必要监控的部分请求;
反爬行为中心模块包含恶意爬虫识别算法,对请求特征进行分析产生对应反爬策略;
反爬策略中心模块包含的是反爬规则,并向应用程序通过SDK提供通讯接口,辅助应用程序进行恶意爬虫识别;
SDK实现应用程序与策略中心对于反爬策略的请求、执行与结果响应。
3.如权利要求1所述的系统,其特征在于,利用如权利要求2所述的模块结构进行组织,并通过以下步骤实现反爬过程:
S1,封包后发送至服务器的的流式请求数据传输单元,在到达服务器网关时,通过流量复制的方式,将全量封包进行复制,而原始请求正常进入到S2步骤,复制后的封包进入到S3步骤;
S2,原始请求封包正常进入服务器端进行处理,服务器端将使用SDK中的相应通讯接口函数,携带此请求的特征参数,向反爬策略中心发送分析请求,反爬策略中心针对此请求的特征参数结合反爬规则进行运算分析,给出爬虫行为判定结果反馈服务器端,服务器端根据此结果对此请求进行正常响应或抛弃处理;
S3,镜像复制后的封包,在旁路中经过封包重组,还原为原始请求数据格式,并筛选其中发往目标应用程序服务器的有必要监控的请求,将请求数据整理后,发送至反爬行为分析中心,分析结果用于更新和完善反爬策略中心的识别规则,应用服务器将从反爬策略中心请求到最新的反爬策略。
4.一种服务器反爬系统,采用如权利要求1-3中任一项或多项组合的方法实现反爬过程。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于博雅创智(天津)科技有限公司,未经博雅创智(天津)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810547086.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:充电机通信协议检测装置
- 下一篇:面向攻击的网络安全态势预测方法、装置及系统