[发明专利]一种基于Attention机制的多通道的文本分类方法

权利要求书

1.一种基于Attention机制的多通道的文本分类方法，包括以下步骤：

步骤1文本预处理

1.1文本分词，构建预处理后语料库；

1.2构建词库，所述的词库由去除停用词后且词频大于阈值θ的词构成，同时在词库中插入字符串“UNK”和“PAD”,其中“UNK”表示不能识别的词，“PAD”表示为模型输入中固定句子长度需要填充的词；

步骤2词向量构建

利用word2vec技术，对预处理后的语料进行词向量的训练，词向量的维度设置为d，得到预训练词向量表，对词库中的每一个词，若该词在预训练词向量表存在，则使用表中词向量作为该词的词向量，若该词在预训练词向量表中不存在，则使用正态分布随机初始化向量作为该词的词向量；

步骤3模型构建

3.1词向量的初始化

首先对于预处理后语料库中每个句子，用词向量替换句子中的每个词，构建句子的词向量表示；

然后利用预训练词向量创建的句子词向量嵌入矩阵A∈R^l×d，构建第1通道，表示如下：

A＝[x₁,x₂,…,x_i,…,x_l]^T 1≤i≤l

其中x_i对应句子中第i个词的d维向量，l为句子的固定长度；

利用均匀分布随机初始化的词向量创建的句子词向量嵌入矩阵B∈R^l×d，构建第2通道，表示如下：

B＝[y₁,y₂,…,y_i,…,y_l]^T 1≤i≤l

其中y_i对应句子中第i个词的d维向量，l为句子的固定长度；

将词向量嵌入矩阵A和B在深度方向上进行拼接，得到句子的双通道词向量嵌入矩阵C∈R^2×l×d表示如下：

其中，表示两个相同维度的二维矩阵在深度方向上的拼接符号；

3.2引入Attention层

首先在第1和第2通道上引入Attention机制，将通道上的当前词向量重新编码，通道1的词向量x_i， 1≤i≤l的上下文向量u_i表示如下：

其中α_ij为词向量x_i对应的权重值，l为句子固定长度，α_ij＞0且权重值α_ij按照如下公式计算：

其中l为句子固定长度，score(x_i,x_j)是词向量x_i和x_j， i≠j的相似性得分，表示如下：

然后将词向量和其对应的上下文向量拼接为扩展词向量，更新到嵌入矩阵中，其中，词向量x_i的扩展词向量X_i表示如下：

其中1≤i≤l，l为句子固定长度，表示向量之间的串联拼接符号；

基于同样方法，计算得到通道2的词向量y_i1≤i≤l的上下文向量v_i，y_i的扩展词向量Y_i；

3.3文本特征抽取和类别输出

双通道词嵌入矩阵C∈R^2×l×d经过Attention机制对词向量的重新编码后，更新后的嵌入矩阵变为D∈R^2×l×2d，表示如下：

其中，∪表示向量并行拼接符号，l为句子固定长度，表示两个通道上的扩展词向量X_k和Y_k在空间维度上的合并；

然后使用窗口大小为h，深度为2的多个卷积核在双通道嵌入矩阵上进行滑动卷积操作，得到卷积核提取的特征图，再对特征图进行最大池化操作，将池化得到的主要特征展开成特征向量ξ，以ξ作为全连接层的输入，经过全连接层和Softmax层得到文本所属类别的概率分布。

2.根据权利要求1所述的一种基于Attention机制的多通道的文本分类方法，其特征在于：

所述步骤3.1中构建句子的词向量表示具体为：以词的数目表示句子长度，设置句子固定长度为l，对于大于句长l的句子截断，小于句长l的句子用“PAD”填充。