[发明专利]一种融合数据类别信息的文本特征提取方法

摘要

本发明公开了一种融合数据类别信息的文本特征提取方法，该方法通过对数据进行清洗并训练词向量，将Seq2Seq自编码模型融入到LSTM分类模型，Seq2Seq和LSTM共用同一个Encoder，使得模型完成训练后，Encoder不仅可以利用到样本的类别信息，而且可以利用到文本自身的结构信息和语义信息，显著提高了Encoder面对未知类别文本的特征提取能力。

主权项

1.一种融合数据类别信息的文本特征提取方法，其特征在于，包括以下步骤：1)数据清洗；对文本数据进行分词，去除特殊符号以及生僻字词；2)文本预处理；对步骤1)中分好的词语赋予ID，然后建立词语‑ID词典；3)词向量预处理；利用步骤1)生成的词语‑ID词典生成词语的one‑hot表示，并设置词向量的长度L，随机初始化形状为N×L的矩阵，其中N为词典中词语的个数，该矩阵的每一行就是一个词向量；设置滑动窗口大小，将窗口中间位置词语的one‑hot向量作为目标输出，其他位置词语的one‑hot向量与N×L矩阵相乘并求和后作为实际输出，滑动窗口遍历预料库，通过梯度下降法最小化实际输出和目标输出之间的损失，得到最终的词向量矩阵；4)构建模型首先建立LSTM分类模型，将一条文本看作是时间序列数据，LSTM的循环体会遍历该文本中的词语，每一个时刻的输入是该位置的词向量，当循环体处理完最后一个词语时，输出特征向量，然后将该特征向量作为Softmax分类器的输入，该文本的类别作为分类器的目标输入，用交叉熵衡量Softmax分类器的损失；然后建立Seq2Seq模型，其中Encoder使用上述分类模型中的LSTM，Decoder使用另外一个LSTM模型，Encoder输出特征向量之后，将特征向量和上一时刻的状态向量作为Decoder每一时刻的输入，Decoder的每一时刻输出也是一个向量，将该向量作为Softmax的输入，当前时刻的目标输出是下一时刻词语的one‑hot向量，也是用交叉熵衡量损失；最后将LSTM分类模型的损失和Seq2Seq模型的损失做加权综合，作为模型的总体损失，通过优化方法最小化总体损失，得到Encoder作为最终的特征提取模型。