[发明专利]反爬虫系统及方法在审
| 申请号: | 201910937903.5 | 申请日: | 2019-09-29 |
| 公开(公告)号: | CN110677417A | 公开(公告)日: | 2020-01-10 |
| 发明(设计)人: | 毛琴;谢强;陈晨 | 申请(专利权)人: | 武汉极意网络科技有限公司 |
| 主分类号: | H04L29/06 | 分类号: | H04L29/06;H04L29/12;H04L29/08 |
| 代理公司: | 44287 深圳市世纪恒程知识产权代理事务所 | 代理人: | 郭春芳 |
| 地址: | 430000 湖北省武汉市东湖开发区大学*** | 国省代码: | 湖北;42 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 流量请求 爬虫服务器 集群 目标服务器 虚拟IP地址 未授权 发送 域名解析服务器 标准确定 爬虫技术 爬虫系统 平台数据 请求判断 业务影响 爬虫 映射表 预存 预设 非法 | ||
1.一种反爬虫系统,其特征在于,所述系统包括:域名解析服务器、反爬虫服务器集群和目标服务器;
所述域名解析服务器,用于从接收到的流量请求中提取所述目标服务器对应的域名,根据预存的互联网协议IP地址映射表,确定所述域名对应的所述反爬虫服务器集群的虚拟IP地址,并通过所述虚拟IP地址将所述流量请求发送至所述反爬虫服务器集群,所述IP地址映射表中包括所述域名和所述虚拟IP地址之间的对应关系;
所述反爬虫服务器集群,用于根据预设的恶意请求判断标准确定所述流量请求是否是恶意请求,并在确定所述流量请求是恶意请求时处理所述流量请求,在确定所述流量请求不是恶意请求时,将所述流量请求发送至所述目标服务器;
所述目标服务器,用于在接收到所述反爬虫服务器集群发送的流量请求后,对所述流量请求进行处理。
2.如权利要求1所述的系统,其特征在于,所述反爬虫服务器集群为基于层次结构构建的负载均衡服务器集群,包括主负载均衡节点和若干个子负载均衡节点;
所述主负载均衡节点,用于接收所述域名解析服务器发送的所述流量请求,在接收到所述流量请求后,获取各个子负载均衡节点对应的负载状态,根据各个子负载均衡节点对应的负载状态,从所述若干个子负载均衡节点中选取一个子负载均衡节点作为目标子负载均衡节点,并将所述流量请求发送至所述目标子负载均衡节点;
所述目标子负载均衡节点,用于根据预设的恶意请求判断标准确定所述流量请求否是恶意请求,并在确定所述流量请求是恶意请求时处理所述流量请求,在确定所述流量请求不是恶意请求时,将所述流量请求发送至所述目标服务器。
3.如权利要求2所述的系统,其特征在于,所述反爬虫服务器集群还包括从负载均衡节点,所述主负载均衡节点和所述从负载均衡节点之间预先建立有通信通道;
所述从负载均衡节点,用于通过所述通信通道向所述主负载均衡节点发送检测报文,并在预设时间内未接收到来自所述主负载均衡节点作出的针对所述检测报文的应答报文时,接收所述域名解析服务器发送的所述流量请求,在接收到所述流量请求后,获取各个子负载均衡节点对应的负载状态,根据各个子负载均衡节点对应的负载状态,从所述若干个子负载均衡节点中选取一个子负载均衡节点作为目标子负载均衡节点,并将所述流量请求发送至所述目标子负载均衡节点。
4.如权利要求2或3所述的系统,其特征在于,所述域名解析服务器,还用于在确定所述域名对应的所述反爬虫服务器集群的虚拟IP地址后,根据预存的第一对应关系,通过所述主负载均衡节点的物理地址将所述流量请求发送至所述主负载均衡节点,所述第一对应关系为所述虚拟IP地址与所述主负载均衡节点的物理地址之间的对应关系;
或者,所述域名解析服务器,还用于在确定所述域名对应的所述反爬虫服务器集群的虚拟IP地址后,根据预存的第二对应关系,通过所述从负载均衡节点的物理地址将所述流量请求发送至所述从负载均衡节点,所述第二对应关系为所述虚拟IP地址与所述从负载均衡节点的物理地址之间的对应关系。
5.如权利要求2或3所述的系统,其特征在于,所述系统还包括:大数据服务器;
所述大数据服务器,用于在所述目标子负载均衡节点无法确定所述流量请求是否是恶意请求时,根据预存的恶意请求信息,对所述流量请求进行分析,并将分析结果发送至所述目标子负载均衡节点,以使所述目标子负载均衡节点根据所述分析结果确定是否将所述流量请求发送至所述目标服务器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉极意网络科技有限公司,未经武汉极意网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910937903.5/1.html,转载请声明来源钻瓜专利网。





