[发明专利]网页分类方法及装置

权利要求书

1.一种网页分类方法，其特征在于，包括：

获取待分类网页对应的HTTP请求信息；

从所述HTTP请求信息中提取预设维度的属性信息，所述属性信息用于表征所述HTTP请求信息所具有与网页类型相关的特征；

基于预先训练得到的分类模型，分析所述预设维度的属性信息得到所述待分类网页的页面类型，所述页面类型包括目录页和内容页中的一种；

其中，所述分类模型利用多个页面类型不同的页面对应的HTTP请求信息以及页面类型训练得到。

2.根据权利要求1所述的方法，其特征在于，训练所述分类模型的过程，包括：

获取标注有页面类型的HTTP请求样本数据；

从每个所述HTTP请求样本数据中提取预设维度的属性信息；

利用预设分类模型分析每一个所述HTTP请求样本数据对应的属性信息得到该HTTP请求样本数据对应的预测类别结果；

依据同一条HTTP请求样本数据对应的标注的页面类型及所述预测类别结果，迭代优化所述预设分类模型的模型参数直到满足预设收敛条件，得到最终的分类模型。

3.根据权利要求1所述的方法，其特征在于，基于预先训练得到的分类模型，分析所述预设维度的属性信息对得到所述待分类网页对应的页面类型，包括：

利用预先训练得到的分类模型分析所述各个维度的属性信息，得到所述待分类网页分别属于所述目录页和所述内容页的置信度；

确定所述置信度最大的页面类型为所述待分类网页所属的目标页面类型。

4.根据权利要求1所述的方法，其特征在于，所述HTTP请求信息中的预设维度的属性信息，包括以下至少一项：

所述HTTP请求信息中包含的URL的小节数；

所述URL包含的文件名的字符串长度；

所述URL包含的文件名中符号字符的占比；

所述URL包含的文件名中数字字符的占比；

所述URL包含的文件名的扩展名；

所述URL是否携带日期；

所述URL是否包含指定关键词；

所述URL包含的查询参数的数量；

所述URL包含的查询参数名称中是否包含字符“ID”；

所述HTTP请求信息包含的请求谓词。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于预先训练得到的分类模型，分析所述预设维度的属性信息得到所述待分类网页的页面类型，包括：

将所述HTTP请求信息的预设维度的属性信息转换为对应的特征值；

将所述HTTP请求信息对应的所述特征值输入至所述预先训练得到的分类模型进行分析，得到所述待分类网页的页面类型。

6.根据权利要求5所述的方法，其特征在于，将所述HTTP请求信息的预设维度的属性信息转换为对应的特征值，包括：

将属于数值型的属性信息进行离散化处理，得到相应的特征值；

将非数值型的属性信息按照预设的映射规则映射为相应的特征值。

7.一种网页分类装置，其特征在于，包括：

获取模块，用于获取待分类网页对应的HTTP请求信息；

信息提取模块，用于从所述HTTP请求信息中提取预设维度的属性信息，所述属性信息用于表征所述HTTP请求信息所具有与网页类型相关的特征；

分析模块，用于基于预先训练得到的分类模型，分析所述预设维度的属性信息得到所述待分类网页的页面类型，所述页面类型包括目录页和内容页中的一种；

其中，所述分类模型利用多个页面类型不同的页面对应的HTTP请求信息以及页面类型训练得到。