[发明专利]一种基于深度学习的网页类型智能识别方法及系统

权利要求书

1.一种基于深度学习的网页类型智能识别方法，该方法包括以下步骤：

S1、输入待分类识别网页；

S2、深度学习分类模型对输入网页进行分类识别，得到所述待分类识别网页的类别信息；

所述深度学习分类模型通过以下步骤得到：

S2.1、获取标记有类别的网页数据集；

S2.2、筛选训练网页集和测试网页集；

S2.3、对网页进行预处理操作；

S2.4、深度学习分类模型计算；

S2.5、深度学习模型验证；

所述对网页进行预处理操作，进一步包括：

S2.3.1、获取网页的HTML源代码；

S2.3.2、网页净化：把一个网页中对分类没有影响或者影响分类效果的部分内容去掉；

S2.3.3、文本序列化处理：将输入的网页文本的标签、短链接文字进行保留，将超过一定长度L的长链接文字使用字母进行标记，将长度超过M字的文本的每个字用特殊符号代替，将超过长度N的文本用N个特殊符号代替，得到处理后的文本序列；其中，对长链接文字进行标记的字母与特殊符号不同，L、M、N为整数，L＜M＜N；

S2.3.4、矩阵转换：将文本序列转变为一个二维矩阵。

2.根据权利要求1所述基于深度学习的网页类型智能识别方法，其特征在于：所述深度学习分类模型计算，进一步包括：

S2.4.1、深度学习算法选择；

S2.4.2、设置训练参数；

S2.4.3、得到深度学习分类模型。

3.根据权利要求2所述基于深度学习的网页类型智能识别方法，其特征在于：所述深度学习算法为卷积神经网络算法CNN；训练参数包括每次迭代误差取1％，学习率取0.001。

4.根据权利要求1所述基于深度学习的网页类型智能识别方法，其特征在于：所述深度学习模型验证包括：将测试网页数据输入学习得到的深度学习分类模型，判断模型输出的结果是否与测试网页的类型一致；如果不一致，则验证不通过，则将测试集数据假如训练集继续训练，同时，选择新的测试集；如果一致则通过验证，得到最终的深度学习分类模型。

5.一种基于深度学习的网页类型智能识别系统，该系统包括以下模块：

输入模块：输入待分类识别网页；

类型识别模块：深度学习分类模型对输入网页进行分类识别，得到所述待分类识别网页的类别信息；

所述深度学习分类模型进一步由以下模块构成：

数据获取模块：获取标记有类别的网页数据集；

筛选模块：筛选训练网页集和测试网页集；

预处理模块：对网页进行预处理操作；

模型计算模块：深度学习分类模型计算；

模型验证模块：深度学习模型验证；

所述数据预处理模块还包括：

源码获取子模块：获取网页的HTML源代码；

网页净化子模块：把一个网页中对分类没有影响或者影响分类效果的部分内容去掉；

文本序列化子模块：将输入的网页文本的标签、短链接文字进行保留，将超过一定长度L的长链接文字使用字母进行标记，将长度超过M字的文本的每个字用特殊符号代替，将超过长度N的文本用N个特殊符号代替，得到处理后的文本序列；其中，对长链接文字进行标记的字母与特殊符号不同，L、M、N为整数，L＜M＜N；

矩阵转换子模块：将文本序列转变为一个二维矩阵。

6.根据权利要求5所述基于深度学习的网页类型智能识别系统，其特征在于：所述模型计算模块，进一步包括：

算法选择子模块：深度学习算法选择；

参数设置子模块：设置训练参数；

模型输出子模块：得到深度学习分类模型。

7.根据权利要求6所述基于深度学习的网页类型智能识别系统，其特征在于：所述算法选择子模块选择的深度学习算法为卷积神经网络算法CNN；所述参数设置子模块设定的训练参数包括每次迭代误差取1％，学习率取0.001。

8.根据权利要求5所述基于深度学习的网页类型智能识别系统，其特征在于：所述模型验证模块进一步包括：将测试网页数据输入学习得到的深度学习分类模型，判断模型输出的结果是否与测试网页的类型一致；如果不一致，则验证不通过，则将测试集数据假如训练集继续训练，同时，选择新的测试集；如果一致则通过验证，得到最终的深度学习分类模型。