[发明专利]一种基于深度学习融合文本和结构特征的网页分类方法

权利要求书

1.一种基于深度学习融合文本和结构特征的网页分类方法，其特征在于，该方法包括如下步骤：

步骤(1)，用爬虫获得网页的HTML文档；

步骤(2)，从HTML标签<title>、<meta>、<Hn>、<a>、<b>、<p>中提取关键文本信息，并将文本信息中的词汇转化为向量，表示文本特征；

步骤(3)，遍历HTML标签，并转化为向量，表示网页结构特征。

步骤(4)，将向量输入长短期记忆网络中，通过神经网络将异构的网页文本特征和网页结构特征融合起来训练模型，进行分类。

2.根据权利要求1所述的一种基于深度学习融合文本和结构特征的网页分类方法，其特征在于，所述步骤(1)具体为：

输入网页的URL，scrapy爬虫获得网页的HTML文档。

3.根据权利要求1所述的一种基于深度学习融合文本和结构特征的网页分类方法，其特征在于，所述步骤(2)具体为：

首先，从HTML标签<title>、<meta>、<Hn>、<a>、<b>、<p>中提取文本信息，然后对获得的文本进行预处理，最后，将文本用word2vec(word to vector)转化为向量，代表文本特征。

4.根据权利要求1所述的一种基于深度学习融合文本和结构特征的网页分类方法，其特征在于，所述预处理为统一小写、去除乱码、去除缩写和数字、去除停用词。

5.根据权利要求1所述的一种基于深度学习融合文本和结构特征的网页分类方法，其特征在于，所述步骤(3)具体为：

构建n维的向量来代表n个标签，遍历HTML标签输出向量作为网页结构特征。

6.根据权利要求1所述的一种基于深度学习融合文本和结构特征的网页分类方法，其特征在于，所述步骤(4)具体为：

将步骤(2)、(3)中的文本和结构特征向量输入长短期记忆网络中，输入是一个m·n的矩阵，m是每个特征输入向量的维度，n是特征的数量；由于文本特征和结构特征向量维度不同，在所有向量输入构成矩阵后，需要统一维度；在神经网络中，将抽象化的特征组合起来训练模型，把需要分类的数据转化为向量形式输入神经网络进行分类。

7.根据权利要求6所述的一种基于深度学习融合文本和结构特征的网页分类方法，其特征在于，所述训练模型中选用交叉熵为损失函数：

式(1)中，y_i是输出向量第i个维度的真实值，y_{i_predicted}是输出向量第i个维度的预测值。