[发明专利]一种基于胶囊网络遮罩记忆注意力的细粒度文本分类方法

权利要求书

1.一种基于胶囊网络遮罩记忆注意力的细粒度文本分类方法，其特征在于，包括如下步骤：

步骤1、从文本分类任务的数据集中获取一个样本，样本包含需要进行分类的上下文文本C、由一个或多个词语组成的情感目标短语A以及对应的情感类别；

步骤2、对获取的上下文文本C和情感目标短语A做填充处理，使所有样本中的上下文文本长度一致，情感目标短语长度一致；

步骤3、使用预训练词向量初始化词向量表，通过查询词向量表，将上下文文本C和情感目标短语A由词序列转化为词向量序列，得到上下文文本和情感目标短语的分布式表示；

步骤4、对上下文文本和情感目标短语的词向量序列分别使用不同的双向LSTM网络进行处理，得到在当前样本上特化的上下文隐向量序列和情感目标隐向量序列；

步骤5、将上下文隐向量序列和情感目标隐向量序列合并，对合并后的序列使用二维卷积操作提取局部特征，得到源胶囊序列；

步骤6、在源胶囊序列对应步骤2中的填充位置上重复之前的源胶囊；

步骤7、以步骤6得到的胶囊序列中包含的姿态矩阵序列为query向量序列，以源胶囊序列中包含的姿态矩阵序列为key向量序列和value向量序列，计算带有遮罩的注意力，对步骤6得到的胶囊序列中包含的姿态矩阵序列进行优化，获取带有全局上下文信息的姿态矩阵序列；

步骤8、将步骤7中得到的带有全局上下文信息的姿态矩阵序列与步骤7中作为query向量序列输入的姿态矩阵序列相加，获得同时包含局部和全局语义信息的加和姿态矩阵序列；

步骤9、对加和姿态矩阵序列进行层规范化(Layer Normalization)操作，在保留数值特征的前提下使梯度能够稳定的反向传播；

步骤10、对胶囊序列进行胶囊卷积操作，其中，胶囊序列的姿态矩阵序列为规范化后的加和姿态矩阵序列，胶囊序列的激活值序列为步骤7中与query向量序列相对应的激活值序列；

步骤11、重复步骤7-10，以步骤10中得到的胶囊序列作为步骤7中输入的query向量序列，重复N次，得到经多次胶囊卷积抽象之后的N阶抽象胶囊序列；

步骤12、对N阶抽象胶囊序列进行全连接路由操作，获取类胶囊；

步骤13、找出所有类胶囊中最大的激活值，将对应的类作为该文本的分类结果。

2.如权利要求1所述的基于胶囊网络遮罩记忆注意力的细粒度文本分类方法，其特征在于，由步骤1-13组成的模型在训练时所使用的目标损失函数为：

其中，t表示目标类别的序号，a_t表示对应目标类别的胶囊激活值，k表示非目标类别的序号，a_k表示对应非目标类别的胶囊激活值，m表示目标类别胶囊激活值a_t与非目标类别胶囊激活值a_k之间的间隔，max()表示对括号中以逗号分割的两项取最大值，该目标损失函数用来最大化目标类别胶囊激活值与非目标类别胶囊激活值之间的间隔。

3.如权利要求1所述的基于胶囊网络遮罩记忆注意力的细粒度文本分类方法，其特征在于，步骤5所述的二维卷积操作为TextCNN操作，即对序列进行n-gram卷积，卷积核长度为n，宽度与隐向量的维度保持一致，不对隐向量进行分割。

4.如权利要求3所述的基于胶囊网络遮罩记忆注意力的细粒度文本分类方法，其特征在于，步骤5的胶囊矩阵中的每一个胶囊由一个姿态矩阵和一个激活值组成，姿态矩阵为一个4*4的矩阵，激活值是一个标量。