[发明专利]网络爬虫处置方法、装置、服务器及存储介质

说明书

本申请涉及一种网络爬虫处置方法、装置、服务器和存储介质。该方法包括：对网络日志数据进行分析，获取网络日志数据中的预设字段，通过预设字段，确定网络日志数据所属的网络爬虫类别，根据网络日志数据所属的网络爬虫类别，更新网络爬虫的地址名单。采用本方法能够对待处置网络爬虫相关的网络日志数据进行处理，先确定网络日志数据所属的网络爬虫类别，进一步根据网络日志数据所属的网络爬虫类别去更新网络爬虫的地址名单，避免了对网络爬虫在不分类的情况下进行统一处置所存在的问题，从而提高地址名单更新的准确性，进一步提高了处置效果。

技术领域

本申请涉及计算机技术领域，特别是涉及一种网络爬虫处置方法、装置、服务器及存储介质。

背景技术

目前，云计算的发展趋势迅猛，日益被大众所熟知并接受，企业也逐渐将各类应用、网站、服务迁移到云服务商提供的云计算环境。同时，通过网络爬虫程序访问web页面，从网络上获取数据的现象越来越普遍。其中，网络爬虫大致分为搜索引擎爬虫和恶意爬虫，通常需要对网络爬虫进行检测，拒接恶意爬虫程序访问web页面，以确保网络的安全性。

传统技术中，采用主动型网络爬虫处置和被动型网络爬虫处置，对网络爬虫进行统一处置。但是，采用传统的方式处置网络爬虫，会导致处置效果较差。

发明内容

基于此，有必要针对上述技术问题，提供一种网络爬虫处置方法、装置、服务器及存储介质。

一种网络爬虫处置方法，所述方法包括：

对网络日志数据进行分析，获取所述网络日志数据中的预设字段；

通过所述预设字段，确定所述网络日志数据所属的网络爬虫类别；

根据所述网络日志数据所属的网络爬虫类别，更新网络爬虫的地址名单，所述网络爬虫的地址单名用于对网络访问请求进行处置。

在其中一个实施例中，所述对网络日志数据进行分析，确定所述网络日志数据中的预设字段，包括：

对网络访问请求数据进行预处理，得到所述网络日志数据；

根据时序数据库中的功能函数对所述网络日志数据进行分析，确定所述预设字段。

在其中一个实施例中，所述对网络访问请求数据进行预处理，得到所述网络日志数据，包括：

从内存中获取所述网络访问请求数据；所述网络访问请求数据包括Nginx变量；

根据网络爬虫需求，从所述Nginx变量中筛选待处置网络爬虫的相关变量，并将所述相关变量确定为所述网络日志数据。

在其中一个实施例中，所述通过所述预设字段，确定所述网络日志数据所属的网络爬虫类别，包括：

根据所述预设字段，确定初始搜索引擎爬虫的用户代理；

根据所述用户代理，确定所述网络日志数据所属的网络爬虫类别。

在其中一个实施例中，所述根据所述用户代理，确定所述网络日志数据所属的网络爬虫类别，包括：

从所述网络日志数据中获取所述用户代理对应的IP地址列表；所述IP地址列表中包括多个第一IP地址；

根据所述初始搜索引擎爬虫在网站对应的第二IP地址和所述第一地址，确定所述网络日志数据所属的网络爬虫类别。

在其中一个实施例中，所述根据所述初始搜索引擎爬虫在网站对应的第二IP地址和所述第一地址，确定所述网络日志数据所属的网络爬虫类别，包括：

对所述第一IP地址与对应的所述第二IP地址进行比较；

若所述第一IP地址与对应的所述第二IP地址相同，则确定所述网络日志数据为目标搜索引擎爬虫；