[发明专利]基于无池化卷积嵌入和注意分布神经网络的新闻分类方法

权利要求书

1.一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，包括以下步骤：

步骤1：搜集新闻文本数据集，对新闻文本进行规范化格式处理并分词，利用词嵌入获得新闻的特征向量，对于新闻标签，根据新闻类别和新闻数据对新闻进行随机切分，将语料分为训练集、测试集和验证集，训练集用于对新闻分类模型的训练，验证集用来验证模型是否合理，测试集用来测试模型分类的效果；

步骤2：将步骤1中语料中的训练集经过词嵌入得到的特征向量输入CNN卷积神经网络，取消CNN中的池化层；

步骤3：将步骤2中经词嵌入和无池化卷积过后的特征向量输入注意力机制，对文本中的特征向量进行权重的重新分配从而训练出新闻分类模型；

步骤4：将步骤1中的语料中的测试集的文本向量输入CNN，根据步骤3中已经训练好的模型进行新闻类别分类并计算出新闻分类的准确率；

所述步骤2将步骤1中的语料中的训练集的词向量x₀,x₁,x₂,...,x_n输入CNN，取消字符卷积网络的池化层，具体为：将经过分布式表示的词向量输入到一维卷积网络中，该网络包含输入层，卷积层，输出层，取消卷积神经网络的池化层以最大化保留文本特征，一维卷积计算得到离散函数和离散核函数的卷积之和：

其中τ(x)是离散核函数，输入的离散函数是δ(x)，d是步长，b为偏差项，其中x表示词向量，n表示新闻词向量的数目；

所述b＝k-d+1，是偏移常数，由一组内核函数τ_ij(x)进行参数化，i＝1,2,…,v，j＝1,2,…,w，每个输入δ_i(x)或输出c_j(y)都称为features，m和n代表输入和输出特征的大小，输出c_j(y)是δ_i(x)和τ_ij(x)的卷积之和；

所述步骤4将步骤1中的语料中的测试集的文本向量输入CNN，根据步骤3中已经训练好的模型进行新闻类别分类并计算出新闻分类的准确率，具体包括：

模型使用Leaky_ReLU激活函数，在ReLU的负半部分引入了Leaky值，因此称为Leaky_ReLU函数，与ReLU不同，如下公式，Leaky_ReLU为所有负值分配一个非零的斜率；

a_g是固定的，g表示对应不同的路线；最后，通过Softmax分类器进行多分类以获得结果；

result＝softmax(v)            (10)

result是一个向量，其维数为类别数，每个维度的数量在[0,1]范围内，它表示文本落入某个类别的概率，输入句子的预测类别准确率为：

prediction＝argmax(result)         (11)。

2.根据权利要求1所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，所述步骤1：搜集新闻数据集，对于中文新闻，规范化数据集格式，格式为：“标签+‘\t’+新闻”形式，将分词后的新闻文本单词用作word embedding层的输入得到一组词的特征向量x₀,x₁,x₂,...,x_t，该特征向量，即为计算机可以识别的语言，对于文本类别标签，指定了输入语言的大小字母，并且每个字符都使用1-1024编码进行编码；然后，将字符序列向量的序列转换为固定长度l₀，超过该长度l₀的所有字符都将被忽略，并且小于l₀的矢量将在后面填充0。