[发明专利]网页分类方法及装置

说明书

本发明提供了网页分类方法及装置，该方案在获得网页的具体页面之前，分析网页的HTTP请求信息得到该网页的页面类型。从待分类网页对应的HTTP请求信息中提取各个维度的属性信息，然后利用预先训练得到的分类模型分析各个维度的信息，得到该待分类网页所属的目标页面类型。由上述内容可知，该方案不需要获取具体的页面内容，只需要获得该页面对应的HTTP请求信息，而且，利用预先训练得到的分类模型分析HTTP请求信息，不需要人工梳理每个页面类型对应的规则，因此，能够适用于任何页面结构的网页，即该方案适用性高，进一步地，对于任何页面结构的网页都能够准确地分析网页的页面类型，因此，该方案的准确率更高。

技术领域

本发明属于计算机技术领域，尤其涉及网页分类方法及装置。

背景技术

网络爬虫是一种按照一定的规则自动地抓取万维网信息的程序或脚本。在网络爬虫爬取网页时，需要将发现的网页分类为目录页和内容页，并根据不同类型的网页采用不同的方式进行处理。其中，目录页中包含具体的内容页的链接，目录页中的内容会不断更新；而内容页的内容几乎不进行更新。例如，目录页是新闻页首页，目录页上的每一个链接对应一个包含新闻报道内容的内容页。

而目前的网络爬虫采用的网页分类方式通常是根据爬取得到的页面，分析页面结构和内容然后进行分类，但是，这种方式需要网络爬虫实际爬取到页面之后才能进行分类，效率低。

发明内容

有鉴于此，本发明的目的在于提供一种网页分类方法及装置，以解决传统的网页分类方式效率低的问题，具体的技术方案如下：

第一方面，本发明提供了一种网页分类方法，包括：

获取待分类网页对应的HTTP请求信息；

从所述HTTP请求信息中提取预设维度的属性信息，所述属性信息用于表征所述HTTP请求信息所具有与网页类型相关的特征；

基于预先训练得到的分类模型，分析所述预设维度的属性信息得到所述待分类网页的页面类型，所述页面类型包括目录页和内容页中的一种；

其中，所述分类模型利用多个页面类型不同的页面对应的HTTP请求信息以及页面类型训练得到。

在本发明一种可能的实现方式中，训练所述分类模型的过程，包括：

获取标注有页面类型的HTTP请求样本数据；

从每个所述HTTP请求样本数据中提取预设维度的属性信息；

利用预设分类模型分析每一个所述HTTP请求样本数据对应的属性信息得到该HTTP请求样本数据对应的预测类别结果；

依据同一条HTTP请求样本数据对应的标注的页面类型及所述预测类别结果，迭代优化所述预设分类模型的模型参数直到满足预设收敛条件，得到最终的分类模型。

在本发明另一种可能的实现方式中，基于预先训练得到的分类模型，分析所述预设维度的属性信息对得到所述待分类网页对应的页面类型，包括：

利用预先训练得到的分类模型分析所述各个维度的属性信息，得到所述待分类网页分别属于所述目录页和所述内容页的置信度；

确定所述置信度最大的页面类型为所述待分类网页所属的目标页面类型。

在本发明又一种可能的实现方式中，所述HTTP请求信息中的预设维度的属性信息，包括以下至少一项：

所述HTTP请求信息中包含的URL的小节数；

所述URL包含的文件名的字符串长度；

所述URL包含的文件名中符号字符的占比；

所述URL包含的文件名中数字字符的占比；