[发明专利]网络爬虫检测方法和装置

权利要求书

1.一种网络爬虫检测方法，其特征在于，包括：

获取客户端访问网页中所包含的各统一资源定位符URL路径信息；

根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端访问网页的行为特征信息；

根据所述行为特征信息，确定所述客户端的访问行为是否是网络爬虫。

2.根据权利要求1所述的方法，其特征在于，所述根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端访问网页的行为特征信息，包括：

根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端的行为特征信息为递归搜索行为特征信息；

所述根据所述行为特征信息，确定所述客户端的访问行为是否是网络爬虫，包括：

根据所述递归搜索行为特征信息，确定所述客户端的访问行为是网络爬虫。

3.根据权利要求2所述的方法，其特征在于，所述根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端的行为特征信息为递归搜索行为特征信息，包括：

根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端的递归搜索行为特征信息为进行逐级广度搜索的行为特征信息或为进行逐级深度搜索的行为特征信息。

4.根据权利要求1~3中任一项所述的方法，其特征在于，所述根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端访问网页的行为特征信息之前，还包括：

采用网络爬虫技术抓取网页信息，建立所述URL多插树结构。

5.根据权利要求1~3中任一项所述的方法，其特征在于，所述获取客户端访问网页中各URL路径信息之前，还包括：

确定所述客户端与网页服务器之间的连接数超过预设阈值。

6.一种网络爬虫检测装置，其特征在于，包括：

获取模块，用于获取客户端访问网页中所包含的各统一资源定位符URL路径信息；

第一确定模块，用于根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端访问网页的行为特征信息；

第二确定模块，用于根据所述行为特征信息，确定所述客户端的访问行为是否是网络爬虫。

7.根据权利要求6所述的装置，其特征在于，所述第一确定模块包括第一确定单元，所述第二确定模块包括第二确定单元；

所述第一确定单元，用于根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端的行为特征信息为递归搜索行为特征信息；

所述第二确定单元，用于根据所述递归搜索行为特征信息，确定所述客户端的访问行为是网络爬虫。

8.根据权利要求7所述的装置，其特征在于，所述第一确定单元，具体用于根据所述网页的URL多插树结构以及所述URL路径信息，确定所述客户端的递归搜索行为特征信息为进行逐级广度搜索的行为特征信息或为进行逐级深度搜索的行为特征信息。

9.根据权利要求5~8中任一项所述的装置，其特征在于，还包括：

预处理模块，用于在确定所述客户端访问网页的行为特征信息之前采用网络爬虫技术抓取网页信息，建立所述URL多插树结构。

10.根据权利要求5~8中任一项所述的装置，其特征在于，还包括：

第三确定模块，用于在获取客户端访问网页中各URL路径信息之前，确定所述客户端与网页服务器之间的连接数超过预设阈值。