[发明专利]网络爬虫检测方法和装置

说明书

技术领域

本发明涉及网络技术，尤其涉及一种网络爬虫检测方法和装置。

背景技术

网络爬虫是搜索引擎技术的基础组成部分。网络爬虫技术是从一个或若干初始网页的URL（Uniform Resource Locator，统一资源定位符）开始，获得初始网页上的URL，在抓取网页信息的过程中，根据网页的抓取策略，不断从当前页面上抽取新的URL放入队列，直到满足某种停止条件。然后将抓取到的网页信息存储在搜索引擎的服务器中，从而可以加快用户的搜索速度。

现有技术中检测网络爬虫是通过设置阈值的方法来实现的，即统计同一时刻客户端的IP地址访问服务器端的IP地址时的会话连接数，若访问时的会话连接数超过了设置的阈值，则认为该IP地址对应的客户端正在通过网络爬虫抓取网页。

在实现本发明实施例的过程中，发明人发现现有技术中，当客户端的IP地址正常访问服务器的IP地址时，访问时的会话连接数也可能会超过设置的阈值，此时现有技术会误认为是网络爬虫从而造成误检。

发明内容

本发明实施例提供一种网络爬虫检测方法和装置，可以解决通过设置阈值的方法会将正常访问网络误检为网络爬虫的问题，从而用以提高网络爬虫检测的准确率。

在一方面中，本发明实施例提供一种网络爬虫检测方法，包括：

获取客户端访问网页中所包含的各统一资源定位符URL路径信息；

根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端访问网页的行为特征信息；

根据所述行为特征信息，确定所述客户端的访问行为是否是网络爬虫。

在上述一方面的第一种可能的实现方式中，所述根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端访问网页的行为特征信息，包括：根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端的行为特征信息为递归搜索行为特征信息；

所述根据所述行为特征信息，确定所述客户端的访问行为是否是网络爬虫，包括：根据所述递归搜索行为特征信息，确定所述客户端的访问行为是网络爬虫。

在上述一方面的第一种可能的实现方式中的第二种可能实现的方式中，所述根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端的行为特征信息为递归搜索行为特征信息，包括：根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端的递归搜索行为特征信息为进行逐级广度搜索的行为特征信息或为进行逐级深度搜索的行为特征信息。

在上述一方面或上述一方面的第一种可能的实现方式或上述一方面的第二种可能的实现方式中的第三种可能的实现方式中，所述根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端访问网页的行为特征信息之前，还包括：采用网络爬虫技术抓取网页信息，建立所述URL多插树结构。

在上述一方面或上述一方面的第一种可能的实现方式或上述一方面的第二种可能的实现方式中的第四种可能的实现方式中，所述获取客户端访问网页中各URL路径信息之前，还包括：确定所述客户端与网页服务器之间的连接数超过预设阈值。

在另一方面中，本发明实施例还提供一种网络爬虫检测装置，包括：

获取模块，用于获取客户端访问网页中所包含的各统一资源定位符URL路径信息；

第一确定模块，用于根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端访问网页的行为特征信息；

第二确定模块，用于根据所述行为特征信息，确定所述客户端的访问行为是否是网络爬虫。

在上述另一方面的第一种可能的实现方式中，所述第一确定模块包括第一确定单元，所述第二确定模块包括第二确定单元；所述第一确定单元，用于根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端的行为特征信息为递归搜索行为特征信息；所述第二确定单元，用于根据所述递归搜索行为特征信息，确定所述客户端的访问行为是网络爬虫。

在上述另一方面的第一种可能的实现方式中的第二种可能的实现方式中，所述第一确定单元，具体用于根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端的递归搜索行为特征信息为进行逐级广度搜索的行为特征信息或为进行逐级深度搜索的行为特征信息。

在上述另一方面或上述另一方面的第一种可能的实现方式或上述另一方面的第二种可能的实现方式中的第三种可能的实现方式中，还包括：