[发明专利]一种识别爬虫的方法、装置及系统

权利要求书

1.一种识别爬虫的方法，其特征在于，包括：

若监听到用户用于访问当前页面的访问请求，则从所述访问请求中获取用户代理字段；

确定所述用户代理字段的词频分布特征；

将所述词频分布特征输入到预先训练的爬虫识别模型中，得到所述用户是否为爬虫的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述确定所述用户代理字段的词频分布特征，包括：

对所述用户代理字段进行分词处理，得到至少一个目标词语；

根据所述至少一个目标词语的词频确定所述用户代理字段的词频分布特征。

3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个目标词语的词频确定所述用户代理字段的词频分布特征，包括：

基于预先构建的对应关系，确定所述至少一个目标词语中每个目标词语的词频；

统计所述至少一个目标词语的词频落入多个预设词频区间的数量；

根据所述数量对应的向量确定所述用户代理字段对应的词频分布特征。

4.根据权利要求1所述的方法，其特征在于，所述爬虫识别模型根据以下步骤训练得到：

获取多个样本访问请求，并从所述多个样本访问请求中获取样本用户代理字段；

确定所述样本用户代理字段的样本词频分布特征；

对所述样本词频分布特征进行标定，并将标定后的样本词频分布特征作为训练集，训练所述爬虫识别模型。

5.根据权利要求4所述的方法，其特征在于，所述确定所述样本用户代理字段的样本词频分布特征，包括：

对所述样本用户代理字段进行分词处理，得到至少一个样本目标词语；

基于预先构建的对应关系，确定所述至少一个样本目标词语中每个样本目标词语的词频；

统计所述至少一个样本目标词语的词频落入多个预设词频区间的数量；

根据所述数量对应的向量确定所述样本用户代理字段对应的样本词频分布特征。

6.根据权利要求5所述的方法，其特征在于，所述获取多个样本访问请求，包括：

获取正样本访问请求和负样本访问请求，所述正样本访问请求包括爬虫访问当前页面时生成的访问请求，所述负样本访问请求包括正常用户访问当前页面时生成的访问请求。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据所述负样本访问请求构建所述目标词语与词频之间的对应关系。

8.一种识别爬虫的装置，其特征在于，包括：

代理字段获取模块，用于当监听到用户用于访问当前页面的访问请求时，从所述访问请求中获取用户代理字段；

分布特征确定模块，用于确定所述用户代理字段的词频分布特征；

识别结果获取模块，用于将所述词频分布特征输入到预先训练的爬虫识别模型中，得到所述用户是否为爬虫的识别结果。

9.一种识别爬虫的设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述权利要求1-7任一所述的识别爬虫的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的识别爬虫的方法。