[发明专利]一种融合数据类别信息的文本特征提取方法

说明书

本发明公开了一种融合数据类别信息的文本特征提取方法，该方法通过对数据进行清洗并训练词向量，将Seq2Seq自编码模型融入到LSTM分类模型，Seq2Seq和LSTM共用同一个Encoder，使得模型完成训练后，Encoder不仅可以利用到样本的类别信息，而且可以利用到文本自身的结构信息和语义信息，显著提高了Encoder面对未知类别文本的特征提取能力。

技术领域

本发明属于自然语言处理领域，特别涉及一种融合数据类别信息的文本特征提取方法。

背景技术

在自然语言处理领域里面，经常有文本分类或者文本聚类的任务，无论是文本分类还是文本聚类，都需要利用一定的方式将文本编码成向量，将文本编码成向量的过程称为文本特征提取。对于文本分类任务而言，分类模型根据数据的类别信息将文本编码成向量，使得不同类别的文本向量在空间中线性可分；对于文本聚类任务而言，聚类模型首先根据数据自身的结构信息将文本编码成向量，然后根据向量在空间中的分布状况进行聚类。

在文本分类领域，目前最流行的模型是深度学习中的LSTM分类模型。LSTM是长短期记忆网络，专门用于处理时序数据。LSTM模型中存在一个循环体，该循环体会按时间顺序依次处理时序数据，根据每一个时刻的输入和当前模型的状态，给出当前时刻的输出。而循环体中的“门控结构”，会对当前时刻的输入信息和历史信息进行过滤，使得当前时刻的输出是最优的。当循环体处理完时序数据的最后一个时刻的数据时，则输出该时序数据的特征向量，将该向量作为Softmax分类器的输入，就可以根据类别信息去构造损失函数。通过优化方法最小化损失函数，能够训练出根据类别信息提取特征向量Encoder。

在聚类领域，常见的聚类方法有很多，比如层次聚类、混合高斯聚类、密度聚类、流型聚类等等，具体使用哪一种方法需要根据数据自身的空间分布情况确定。文本聚类中关键的一步是将文本转化成合适的向量，即文本特征提取，特征提取的结果会直接影响最终的聚类效果。在特征提取模型里面，Auto-Encoder模型是非常流行的。该模型的输入和输出都是样本自身，模型中的Encoder将样本编码成特征向量，Decoder将特征向量尽可能解码成样本，通过优化解码后的样本与原始样本的之间的损失，得到理想的Encoder，从而对数据进行特征提取。Seq2Seq模型在文本翻译、自动摘要等领域有着举足轻重的地位，Seq2Seq中的Encoder和Decoder都是LSTM模型，如果Seq2Seq的模型输入和输出都是数据自身的话，该模型也属于Auto-Encoder模型。

当数据的类别信息已知时，分类模型的特征提取能力优于Auto-Encoder，因为分类模型是有监督模型，可以根据类别信息进行特征提取。而Auto-Encoder是自监督模型，只能根据数据自身的结构特性进行特征提取，没有利用类别信息，因此精度会比较差。但是分类模型只能对旧类别(训练集中出现过的类别)数据进行有效的特征提取，对新类别(训练集中未出现的类别)数据的特征提取能力非常差。而在实际应用中往往会遇到新类别数据，此时分类模型就难以满足要求，这也是当下诸多分类模型的瓶颈，也是机器学习、人工智能发展的一大阻碍。

发明内容

本发明的目的在于提升分类模型对于新类别数据的特征提取能力，提供一种融合数据类别信息的文本特征提取方法，该方法能够有效对新类别文本数据进行特征提取，其通过将分类模型和自编码模型结合在一起，在传统LSTM分类模型的基础上，融入Seq2Seq自编码模型，使得模型可以同时根据数据的类别信息和数据本身的结构信息对文本进行特征提取。该模型中的LSTM分类模型和Seq2Seq自编码模型共用一个Encoder，通过优化方法最小化分类模型和自编码模型的总损失，得到最终的Encoder。

本发明采用如下技术方案来实现的：

一种融合数据类别信息的文本特征提取方法，包括以下步骤：

1)数据清洗；

对文本数据进行分词，去除特殊符号以及生僻字词；