[发明专利]一种基于改进胶囊网络的文本分类方法

权利要求书

1.一种基于改进胶囊网络的文本分类方法，其特征在于，包括如下步骤：

步骤1：获取文本数据并对其进行文本标签设定，将其分为训练文本数据与测试文本数据，对数据预处理，去除噪声，保留具有语义特征的词汇；

步骤2：对所述去除了噪声的文本数据进行文本建模，将文本数据中的词汇转化成词向量，并将词向量进行拼接，形成文档向量；

步骤3：对步骤2中所述文档向量利用胶囊网络构建局部语义特征提取模型，进行局部语义特征提取，所述局部语义特征提取模型包括一层卷积层、两层胶囊层以及一个全连接层，卷积层通过卷积操作来提取各个位置的局部特征，两层胶囊层使用动态路由操作代替池化操作，进行两次胶囊层的特征提取；全连接层用于文本分类；所述局部语义特征提取模型包括标准的卷积层、主胶囊层以及卷积胶囊层，标准的卷积层通过多个不同的卷积核在文本句子的不同位置提取特征；主胶囊层将卷积操作中的标量输出替换为矢量输出，保留文本的单词顺序和语义信息；卷积胶囊层通过与变换矩阵相乘来计算子胶囊与父胶囊的关系，然后根据路由协议计算出上层胶囊层；

步骤4：构建BiLSTM模型，对所述步骤3中胶囊网络输出的文本向量进行上下文信息提取；

步骤5：通过步骤3胶囊网络的全连接层和softmax函数进行文本分类。

2.根据权利要求1所述的基于改进胶囊网络的文本分类方法，其特征在于，所述步骤1中数据预处理包括：

(1)过滤文本数据中的标点符号和特殊字符；

(2)使用分词工具对其进行分词，若是英文这步操作省略；

(3)将所述文本数据使用哈工大停用词表去除没有具体语义的停用词噪声数据；

(4)将所述文本标签数据转化为数值型数据。

3.根据权利要求1所述的基于改进胶囊网络的文本分类方法，其特征在于，所述局部语义特征提取模型进行特征提取的详细步骤包括：

1)标准的卷积层

该层卷积层通过卷积在文本的不同位置提取N-gram特征，若X为文本中的一条文本，其长度为L，词嵌入大小为V，即X的维度大小为L×V，X_i为文本X中的第i个词语，X_i的维度为V；设N-gram滑动大小为K₁，W^α为卷积运算操作的滤波器，则W^α的维度为K₁×V，滤波器每次移动的单词窗口为X_i至X_i+K1-1，产生的特征为m^α，其维度为L-K₁+1，则每个单词特征m_i的特征如下：

其中，b₀为偏置项，f()为非线性激活函数，若有B个滤波器，即α＝1，2，...B，则所得的特征M的维度为(L-K₁+1)×B；

2)主胶囊层

设胶囊的维度为d，p_i为N-gram产生的实例化参数，M_i为每个滑动窗口的向量其维度为B，W_b表示为不同的滑动窗口的共享滤波器，其维度为B×d；生成胶囊P的维度为(L-K₁+1)×d，则P_i的表示如下：

P_i＝g(W_bM_i+b₁)

其中，g()表示非线性压缩函数，b₁为胶囊的偏置项，对于所有的滤波器C来说，胶囊特征P表示为如下所述：

其中，P的维度为(L-K₁+1)×d×C；

3)卷积胶囊层

胶囊通过与变换矩阵相乘来计算子胶囊与父胶囊的关系，然后根据路由协议计算出上层胶囊层。

4.根据权利要求3所述的基于改进胶囊网络的文本分类方法，其特征在于，所述标准的卷积层采用滤波器为3×100，4×100，5×100大小滤波器各128个，进行卷积运算。