[发明专利]网络爬虫识别方法

说明书

技术领域

本发明涉及一种网络爬虫识别方法，更具体地讲，涉及一种使用隐蔽连接来有效地识别网络爬虫的方法。

背景技术

网络爬虫是一种自动获取网页内容的程序。在网页产品中，经常会出现有网络爬虫抓取页面内容而对网页的正常访问流量造成影响的问题。因此，需要对网络爬虫请求进行识别，以方便对网络爬虫进行过滤和屏蔽。

目前识别网络爬虫的方法主要有以下两种，即，请求分析法和统计法。请求分析法对单次请求包含的请求http包中的user agent信息进行分析，如果是明显的网络爬虫信息，则将相应的请求识别为网络爬虫请求。统计法对所有的请求根据IP进行访问轨迹统计，如果访问符合以下规则，则将相应的请求识别为爬虫请求：（1）访问比较平均，相隔一段接近的时间发出访问；（2）一天总访问量远大于正常IP的请求。

然而，请求分析法和统计法都存在明显的缺点。

请求分析法的缺点在于，只能识别到有提供明确信息的正规网络爬虫，如百度爬虫、搜搜爬虫等。然而，实际中有很多不规范的网络爬虫或者由竞争对手伪装的网络爬虫，它们都不会提供明确信息，这样就导致请求分析法无法对这一类网络爬虫进行识别。统计分析法的缺点在于：（1）其判断的规律无法确切定义，只能根据产品自身实际情况进行设定，存在误差；（2）其结果是不确定的，因为符合规律的IP只是在比较大概率上可能是网络爬虫，存在一些校园网、公司网出口的IP也会符合规律的情况。

发明内容

本发明的一方面提供一种网络爬虫识别方法，包括以下步骤：确定入口网页上能够导向后端页面的连接；在每个确定的连接中创建新的无效连接；将创建的无效连接设置为隐蔽形式；当发出对隐蔽形式的无效连接的请求时，将所述请求识别为网络爬虫请求。

可选地，创建新的无效连接的步骤包括：如果一个确定的连接中存在唯一表示该连接的字段，则生成一个该字段的无效值，并用该无效值拼装进该连接中，从而创建一个无效连接；如果一个确定的连接中不存在唯一表示该连接的字段，则在该连接中添加一个参数，从而创建一个无效连接，其中，创建的无效连接被记为ILink_ij。

可选地，将创建的无效连接设置为隐蔽形式的步骤包括：在与每个确定的连接对应的页面的主模块的html代码中添加<a href=ILink_ij style=display:none;></a>形式的代码，从而将创建的无效连接设置为隐蔽形式。

可选地，将创建的无效连接设置为隐蔽形式的步骤还包括：如果包含<ahref=ILink_ij style=display:none;></a>形式的代码的无效连接可穷尽，则将相应的无效连接记录到集合Ilink1中，如果包含<a href=ILink_ij style=display:none;></a>形式的代码的无效连接不可穷尽，则将相应的无效连接记录到集合Ilink2中。

可选地，添加到确定的连接中的参数彼此不同。

可选地，识别网络爬虫请求的步骤包括：确定与发出的请求相应的连接是否设置在爬虫集合中；如果与发出的请求相应的连接设置在爬虫集合中，则将发出的请求识别为网络爬虫请求；如果与发出的请求相应的连接没有设置在爬虫集合中，则确定与发出的请求相应的连接是否设置在集合Ilink1中；如果与发出的请求相应的连接设置在集合Ilink1中，则将发出的请求识别为网络爬虫请求，并将与发出的请求相应的连接记录到爬虫集合中；如果与发出的请求相应的连接没有设置在集合Ilink1中，则确定与发出的请求相应的连接是否设置在集合Ilink2中；如果与发出的请求相应的连接设置在集合Ilink2中，则将发出的请求识别为网络爬虫请求，并将与发出的请求相应的连接记录到爬虫集合中；如果与发出的请求相应的连接没有设置在集合Ilink2中，则将发出的请求识别为非网络爬虫请求。

可选地，爬虫集合初始设置为空集。

根据本发明的实施例的网络爬虫识别方法，通过根据网络爬虫的抓取特征在源头网页代码中添加标示，可以准确地判断请求是否是网络爬虫发出，并且随着使用时间增加，识别效果会随着使用时间的积累而显著改善。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1是示出根据本发明的实施例的网络爬虫识别方法的流程图；