[发明专利]一种基于深度学习的网页类型智能识别方法及系统

说明书

本发明提供了一种基于深度学习的网页类型智能识别方法及系统，包括：搜集不同类型网页数据，标记每个网页类别，并对每个网页进行预处理，得到训练集数据；对训练集中的数据，利用深度学习算法构建深度学习模型；对每个测试的网页进行预处理将所得到的数据输入所述深度学习模型，得到该测试网页的网页类型。同时，本发明还提供了一种基于深度学习的网页类型智能识别系统。采用本发明实施例，能够提高网页智能分类的准确率。

技术领域

本发明属于互联网信息采集的技术领域，尤其涉及一种基于深度学习的网页类型智能识别方法及系统。

背景技术

网页类型识别是数据采集系统的关键步骤。在网页数据采集的过程中，为了提高数据采集的效率，通过对网页的类型进行识别，比如在一个网页采集后解析内容之前，要先通过源码对其判断网页的类型，是属于栏目、翻页、专题还是文章，针对不同的类型，调用不同的内容抽取算法，从而提高内容抽取的准确度，如果没有有效办法去识别网页类型，对网页的更新频率计算、文章栏目标记、正文自动抽取都是极大的干扰。

目前，对网页类型的识别大多采取如下方法：传统的网页分类方法，利用人工设定识别规则如设置多种不同类型的网页模板、网页特征(如结构特征、语义特征)对网页进行分类识别或者基于其他非深度学习的机器学习方法对网页类型进行识别。传统的网页分类方法，需要人工找特征，非常麻烦，并且特征的确定具有明显人为的因素，分类精度也不高。传统机器学习复杂在于两点：1.冷启动：学习前没有特征参数，需要专家知识的梳理和注入，即特征的确定办法和计算办法。2.训练过程的参数降维，超参数的迭代。

如今，深度学习正好解决了传统机器学习的这两个问题，将学习过程简化了，并且深度学习已经用于图像的分类识别，并且取得了很好的分类识别效果。但是，图像属于感知层面的数据，其本身就是数字信号，可直接转换为数字序列供机器处理，而网页属于认知层面的数据，其本身的数据并不是数字序列。如何将网页数据转换为深度学习能够使用的数据，进而实现利用深度学习算法对网页进行类别识别，提高网页分类识别准确率所需解决的问题。

发明内容

为了提高网页类型识别的准确度，进而提高网页信息采集的效率，本发明提出了一种基于深度学习的网页类型智能识别方法，该方法包括以下步骤：

S1、输入待分类识别网页；

S2、深度学习分类模型对输入网页进行分类识别，得到所述待分类识别网页的类别信息。

其中，所述深度学习分类模型通过以下步骤得到：

S2.1、获取标记有类别的网页数据集；

S2.2、筛选训练网页集和测试网页集；

S2.3、对网页进行预处理操作；

S2.4、深度学习分类模型计算；

S.2.5、深度学习模型验证。

其中，所述对网页进行预处理操作，进一步包括：

S2.3.1、获取网页的HTML源代码；

S2.3.2、网页净化：把一个网页中对分类没有影响或者影响分类效果的部分内容去掉；

S2.3.3、文本序列化处理：将输入的网页文本的标签、短链接文字进行保留，将超过一定长度L的长链接文字使用字母进行标记，将长度超过M字的文本的每个字用特殊符号代替，将超过长度N的文本用N个特殊符号代替，得到处理后的文本序列；其中，对长链接文字进行标记的字母与特殊符号不同，L、M、N为整数，L＜M＜N；

S2.3.4、矩阵转换：将文本序列转变为一个二维矩阵。

其中，所述将文本序列转变为一个二维矩阵，具体可以使用word embeding或者Word2Vec模型。