[发明专利]自然语言文本处理方法、装置、设备及存储介质

说明书

本申请提供一种自然语言文本处理方法、装置、设备及存储介质，涉及文本处理领域。该方法包括：采用遗忘门对待处理的自然语言文本的词序列中的预设词进行处理，确定每个词对应的控制信号；采用第一输入特征模块对预设词进行特征提取后，由第一激活函数层进行处理，得到预设词的第一输入特征；采用输出特征模块对预设词进行特征提取后，由第二激活函数层进行处理，得到预设词的输出特征；采用第一融合模块对控制信号和第一输入特征进行融合，得到预设词的状态；采用第三激活函数层对状态进行处理，得到预设词的状态信息；采用第二融合模块对状态信息和输出特征进行融合，得到预设词的特征向量。相对于现有技术，避免了拟合效果不佳的问题。

技术领域

本申请涉及文本处理技术领域，具体而言，涉及一种自然语言文本处理方法、装置、设备及存储介质。

背景技术

统计自然语言处理运用了推测学、机率、统计的方法来解决上述，尤其是针对容易高度模糊的长串句子，当套用实际文法进行分析产生出成千上万笔可能性时所引发之难题。处理这些高度模糊句子所采用消歧的方法通常运用到语料库以及马可夫模型(Markovmodels)。统计自然语言处理的技术主要由同样自人工智能下与学习行为相关的子领域：机器学习及资料采掘所演进而成。

在目前的大多NLP任务(如，序列标注、序列生成、文本分类等)中，常用的语言模型结构主要基于LSTM。通过使用门控的形式来构建序列之间的长期依赖。其在处理过程中使用遗忘门来决定网络运行到此单元时，需丢弃什么样的信息；接下来使用输入门来决定此单元要保存什么样的信息；最后通过输出门来确定此单元需要输出什么样的信息。

但由于LSTM对于序列特征的提取能力有限，导致虽然可以建立长期依赖，但由于其较弱的特征提取能力，很大程度上会限制模型的拟合结果，导致拟合效果不佳的问题。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种自然语言文本处理方法、装置、设备及存储介质，以解决现有技术中拟合效果不佳的问题。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请一实施例提供了一种自然语言文本处理方法，应用特征提取模型，所述特征提取模型包括：遗忘门、输入门、输出门、第一融合模块，其中，所述输入门包括：第一输入特征模块和第一激活函数层，所述输出门包括：输出特征模块、第二激活函数层、第二融合模块和第三激活函数层，所述第一输入特征模块和所述输出特征模块的结构均为自然语言翻译模型中的编码器；所述方法包括：

获取待处理的自然语言文本的词序列；

采用所述遗忘门对所述词序列中的预设词进行处理，确定所述每个词对应的控制信号；

采用所述第一输入特征模块对所述预设词进行特征提取后，由所述第一激活函数层进行处理，得到所述预设词的第一输入特征；

采用所述输出特征模块对所述预设词进行特征提取后，由所述第二激活函数层进行处理，得到所述预设词的输出特征；

采用所述第一融合模块对所述控制信号和所述第一输入特征进行融合，得到所述预设词的状态；

采用所述第三激活函数层对所述状态进行处理，得到所述预设词的状态信息；

采用所述第二融合模块对所述状态信息和所述输出特征进行融合，得到所述预设词的特征向量，从而得到所述自然语言文本的特征序列，所述特征序列包括：所述词序列中多个词的特征向量。

可选地，所述特征提取模型还包括：第三融合模块；若所述预设词为所述词序列中第一个词之后的任一词；

所述方法还包括：

采用所述第三融合模块对所述控制信号和所述预设词的前一个词的状态进行融合，得到所述预设词的融合状态；