[发明专利]反爬虫系统及方法

说明书

本发明公开了一种反爬虫系统及方法。该系统包括：域名解析服务器，用于从接收到的流量请求中提取目标服务器对应的域名，根据预存的IP地址映射表，确定域名对应的反爬虫服务器集群的虚拟IP地址，并通过虚拟IP地址将流量请求发送至反爬虫服务器集群；反爬虫服务器集群，用于根据预设的恶意请求判断标准确定流量请求是否是恶意请求，并在确定流量请求是恶意请求时处理流量请求，在确定流量请求不是恶意请求时，将流量请求发送至目标服务器；目标服务器，用于在接收到反爬虫服务器集群发送的流量请求后，对流量请求进行处理。通过该方式，有效阻止了基于爬虫技术非法爬取未授权平台数据的现象，大大降低了爬虫风险对未授权平台的业务影响。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种反爬虫系统及方法。

背景技术

在当今大数据时代，数据已经成为企业的核心资产之一。随着各类企业对网络数据采集的需求不断增长，爬虫行业在快速增长，基于爬虫技术非法爬取未授权平台数据的现象越来越常见，大量的爬虫行为不仅会影响正常用户的访问，还会给企业带来极大的威胁。

因此，提供一种反爬虫系统及方法显得尤为重要。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种反爬虫系统及方法，旨在阻止基于爬虫技术非法爬取未授权平台数据的现象，从而降低了爬虫风险对未授权平台的业务影响。

为实现上述目的，本发明提供一种反爬虫系统，所述反爬虫系统包括：域名解析服务器、反爬虫服务器集群和目标服务器；

所述域名解析服务器，用于从接收到的流量请求中提取所述目标服务器对应的域名，根据预存的互联网协议IP地址映射表，确定所述域名对应的所述反爬虫服务器集群的虚拟IP地址，并通过所述虚拟IP地址将所述流量请求发送至所述反爬虫服务器集群，所述IP地址映射表中包括所述域名和所述虚拟IP地址之间的对应关系；

所述反爬虫服务器集群，用于根据预设的恶意请求判断标准确定所述流量请求是否是恶意请求，并在确定所述流量请求是恶意请求时处理所述流量请求，在确定所述流量请求不是恶意请求时，将所述流量请求发送至所述目标服务器；

所述目标服务器，用于在接收到所述反爬虫服务器集群发送的流量请求后，对所述流量请求进行处理。

优选地，所述反爬虫服务器集群为基于层次结构构建的负载均衡服务器集群，包括主负载均衡节点和若干个子负载均衡节点；

所述主负载均衡节点，用于接收所述域名解析服务器发送的所述流量请求，在接收到所述流量请求后，获取各个子负载均衡节点对应的负载状态，根据各个子负载均衡节点对应的负载状态，从所述若干个子负载均衡节点中选取一个子负载均衡节点作为目标子负载均衡节点，并将所述流量请求发送至所述目标子负载均衡节点；

所述目标子负载均衡节点，用于根据预设的恶意请求判断标准确定所述流量请求否是恶意请求，并在确定所述流量请求是恶意请求时处理所述流量请求，在确定所述流量请求不是恶意请求时，将所述流量请求发送至所述目标服务器。

优选地，所述反爬虫服务器集群还包括从负载均衡节点，所述主负载均衡节点和所述从负载均衡节点之间预先建立有通信通道；

所述从负载均衡节点，用于通过所述通信通道向所述主负载均衡节点发送检测报文，并在预设时间内未接收到来自所述主负载均衡节点作出的针对所述检测报文的应答报文时，接收所述域名解析服务器发送的所述流量请求，在接收到所述流量请求后，获取各个子负载均衡节点对应的负载状态，根据各个子负载均衡节点对应的负载状态，从所述若干个子负载均衡节点中选取一个子负载均衡节点作为目标子负载均衡节点，并将所述流量请求发送至所述目标子负载均衡节点。