[发明专利]一种基于Attention机制的多通道的文本分类方法

说明书

本发明涉及一种基于Attention机制的多通道的文本分类方法，首先将由固定的预训练词向量和随机初始化的词向量构建的句子嵌入矩阵分别作为一个文本通道，其次在每层通道上单独引入Attention机制为每个词创建上下文向量，然后将上下文向量和词向量进行拼接，从而得到多通道的句子嵌入矩阵。最后使用不同尺寸的卷积核对多通道的句子嵌入矩阵在多个通道上进行卷积操作，得到卷积后的文本特征向量，再使用最大池化层从特征向量中提取文本主要特征，最后经过Softmax层输出所属类别的概率分布，从而构建基于Attention机制的多通道的文本分类模型。提高了模型的泛化能力和训练速度，解决了非连续词之间相关性的问题。

技术领域

本发明属于信息处理技术领域，是一种基于Attention机制的多通道的文本分类方法。

背景技术

随着互联网在社会中的大规模应用，网络上的信息资源呈现爆炸式的增长。在各种形式的信息中，非结构化的文本信息仍然是十分重要的信息资源之一。而文本自动分类能更好的帮助人们快速准确的获取信息，从而极大地提高信息的利用率。文本自动分类就是在给定的分类模型下，由计算机根据文本内容自动判别文本类别的过程，作为一项具有较大实用价值的关键技术，文本分类有着广泛的商业前景和应用价值。

随着深度学习技术的发展，各种词嵌入模型可以将词映射为低维稠密的向量，从而把对文本内容的处理简化为向量空间中的向量运算，并且以空间上的相似度表达语义的相似度，利用卷积神经网络可以提取文本特征，从而实现文本分类任务，对于单层文本通道的卷积过程虽然参数少，易于训练，但收敛速度慢，精度不高。而多通道的文本将不同的词向量表示引入不同的通道中，一方面可以丰富词的语义；另一方面卷积核可以从双层文本通道中提取更多的文本特征，已有实验验证了该方法一定程度上可以提高模型的泛化能力。对于单通道的文本卷积而言，虽然双通道文本卷积过程克服了其收敛速度慢、语义表征能力不足的缺陷，但是却难以捕获长期的上下文信息和非连续词之间的相关性。Attention机制是一种根据某些规则或者某些额外信息从向量表达集合中抽取特定的向量进行加权组合的方法，通过对不同词向量赋予不同的权重来加强对某些重要词的关注程度。

发明内容

针对以上问题，本发明将Attention机制分别嵌入不同通道进行文本卷积提取特征，提出了一种基于Attention机制的多通道的文本分类方法，来缓解模型中难以捕获长期的上下文信息和非连续词相关性以及模型过拟合的问题。该方法首先将由固定的预训练词向量和随机初始化的词向量构建的句子嵌入矩阵分别作为一个文本通道，在每层通道上单独引入Attention机制为每个词创建上下文向量，再将上下文向量和词向量进行拼接，从而得到多通道的句子嵌入矩阵。然后在多个通道上使用不同尺寸的卷积核，对多通道的句子嵌入矩阵进行卷积操作，得到卷积后的文本特征向量，再使用最大池化层从特征向量中提取文本主要特征，最后经过Softmax层输出所属类别的概率分布，从而构建基于Attention机制的多通道的文本分类模型。

为实现上述目的，本发明采用如下的技术方案

一种基于Attention机制的多通道的文本分类方法，包括以下步骤：

步骤1文本预处理

1.1文本分词

利用分词工具对中文文本进行分词处理，构建预处理后语料库。

1.2构建词库

首先去除停用词，即在文本中出现频率很高，但没有实际意义的词，包括语气助词、副词、介词及无用符号等。然后保留词频大于阈值θ的词构成词库，同时在词库中插入字符串“UNK”和“PAD”,其中“UNK”表示不能识别的词，“PAD”表示为模型输入中固定句子长度需要填充的词。

步骤2词向量构建