[发明专利]一种文本处理方法、模型及存储介质

说明书

本发明属于自然语言处理技术领域，公开了一种文本处理方法、模型及存储介质，方法包括以下步骤：S1：将自然语言文本转变为字向量；S2：将一定长度的代表自然语言语句的由字向量组成的向量输入进预训练语言模型中，得到输出向量；S3：抽取输出向量中的[cls]向量，对[cls]向量进行聚合操作；S4：将聚合后的输出向量加入特征提取模型中，提取高维度特征，得出特征向量；S5：将特征向量加入分类模型中，得出文本的分类结果，以解决现有技术将意思相近的语句经过复杂重叠的Transformer结构后，转化出的向量差异较大，影响了最终语句结果分类的问题。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种文本处理方法、模型及存储介质。

背景技术

随着网络的发展，世界每时每刻都在产生着海量的文本数据。在这些文本数据中，又有大量的是短文本数据。这些短文本数据包括了聊天记录、商品评价等。通过这些信息可以完成一个人的性格分析、情感分析以及判断商品的好坏。如果要在大量的短文本数据中分析出需要的内容，首先需要进行文本的分类。文本分类技术是指通过深度学习或者机器学习的方式采用有监督或者无监督的方法对文本内容进行自动的分类。

目前Transformer结构在文本分类领域已经得到了广泛的认可和应用，将很多的Transformer结构重叠在一起，形成一个预训练语言模型，并且利用大量的文本数据集对模型进行非常多轮次的训练，然后把预训练语言模型应用在下游任务中，比如情感分析、文本分类、机器翻译等。有些语句意思相近，转化为的向量是相似的，但是这些向量经过复杂的重叠的Transformer结构后，可能转化为了差异较大的向量，进而影响了最终的分类结果。

发明内容

本发明意在提供一种文本处理方法、模型及存储介质，以解决现有技术将意思相近的语句经过复杂重叠的Transformer结构后，转化出的向量差异较大，影响了最终语句结果分类的问题。

本发明提供的基础方案：一种文本处理方法，包括以下步骤：

S1：将自然语言文本转变为字向量；

S2：将一定长度的代表自然语言语句的由字向量组成的向量输入进预训练语言模型中，得到输出向量；

S3：抽取输出向量中的[cls]向量，对[cls]向量进行聚合操作；

S4：将聚合后的输出向量加入特征提取模型中，提取高维度特征，得出特征向量；

S5：将特征向量加入分类模型中，得出文本的分类结果。

本发明的原理及优点在于：将文本语句转换为字向量放入预训练语言模型中，得出输出向量，将输出向量中的[cls]向量进行聚合操作，使差异较大的向量尽可能的消除一些特征重新变为相似；将聚合后的输出向量进行特征提取并分类，得出文本的分类结果，本方案的优点在于：相似的语句通过预训练语言模型后输出的向量变得不再具有相似性后，通过聚合操作将不再相似的向量消除一些特征重新变为相似，避免这些字向量经过复杂的重叠的Transformer结构后，转化为差异较大的向量，进而影响最终的分类结果，保证分类结果的准确性。

进一步，所述聚合操作为最大池化、平均池化中的一种或者多种。

有益效果：根据分类要求选择聚合操作的操作类型，提高文本得出的分类结果准确性，使分类结果更接近分类要求。

进一步，所述预训练语言模型中包括多个Transformer结构。

有益效果：重叠多个Transformer结构，利于预训练语言模型适配多种任务，并进行迁移学习。

进一步，所述预训练语言模型为BERT模型，所述提取模型为全连接神经网络模型，所述分类模型为softmax模型。