[发明专利]一种基于Transformer的中文新闻分类方法

权利要求书

1.一种基于Transformer的中文新闻分类方法，其特征在于，该方法包括以下具体步骤：

步骤1：新闻收集与处理

收集新闻，对收集到的新闻进行文本预处理，并划分出训练集、验证集和测试集；其中，文本预处理包括分词及去除停用词；

步骤2：词向量模型训练

使用步骤1中处理后的全部新闻训练word2vec词向量模型，保存训练好的word2vec词向量模型；

步骤3：基于Transformer序列编码构建层级神经网络

基于Transformer序列编码构建层级神经网络，用于提取文本特征；

步骤4：文本特征提取

使用步骤2的词向量模型将步骤1中预处理后的新闻转化为向量表示，将向量输入步骤3构建的层级神经网络，输出的向量为新闻的文本特征；

步骤5：实体特征识别与提取

使用命名实体识别模型识别步骤1处理后的新闻，得到其中的所有的实体及其实体类型，并用步骤2中的词向量模型把实体和实体类型编码为向量，将向量平均值作为新闻的实体特征；

步骤6：特征融合

合并步骤4中的文本特征和步骤5中的实体特征作为一篇新闻的向量表示；

步骤7：训练与保存模型

将步骤6得到的向量输入一层的全连接神经网络作为分类器，输出为新闻属于各个类别的概率，在训练集上使用交叉熵损失函数衡量预测概率与新闻真实类别的差距，通过Adam优化器反向传播更新层级神经网络和分类器中的参数，每次更新参数后计算验证集上损失函数的值，重复上述过程直到验证集上损失函数不再下降，保存此时层级神经网络、命名实体识别模型和分类器组成的整体模型；

步骤8：新闻预测

将新闻输入训练好的整体模型中，得到新闻属于各个类别的概率，取概率最大的类别为预测类别。

2.根据权利要求1所述的新闻分类方法，其特征在于，步骤1所述收集新闻为收集来自各大新闻门户网站和公众号；所述分词方法使用中文分词方法THULAC；所述停用词由公开的中文停用词表以及新闻中词频-逆文档频率Tf-idf值低的词人工筛选后合并构成；所述划分默认百分之七十为训练集、百分之十为验证集和百分之二十为测试集。

3.根据权利要求1所述的新闻分类方法，其特征在于，步骤2所述训练word2vec词向量模型使用skip-gram方法训练。