[发明专利]自然语言文本处理方法、装置、设备及存储介质

权利要求书

1.一种自然语言文本处理方法，其特征在于，应用特征提取模型，所述特征提取模型包括：遗忘门、输入门、输出门、第一融合模块，其中，所述输入门包括：第一输入特征模块和第一激活函数层，所述输出门包括：输出特征模块、第二激活函数层、第二融合模块和第三激活函数层，所述第一输入特征模块和所述输出特征模块的结构均为自然语言翻译模型中的编码器；所述方法包括：

获取待处理的自然语言文本的词序列；

采用所述遗忘门对所述词序列中的预设词进行处理，确定每个词对应的控制信号；

采用所述第一输入特征模块对所述预设词进行特征提取后，由所述第一激活函数层进行处理，得到所述预设词的第一输入特征；

采用所述输出特征模块对所述预设词进行特征提取后，由所述第二激活函数层进行处理，得到所述预设词的输出特征；

采用所述第一融合模块对所述控制信号和所述第一输入特征进行融合，得到所述预设词的状态；

采用所述第三激活函数层对所述状态进行处理，得到所述预设词的状态信息；

采用所述第二融合模块对所述状态信息和所述输出特征进行融合，得到所述预设词的特征向量，从而得到所述自然语言文本的特征序列，所述特征序列包括：所述词序列中多个词的特征向量。

2.根据权利要求1所述的方法，其特征在于，所述特征提取模型还包括：第三融合模块；若所述预设词为所述词序列中第一个词之后的任一词；

所述方法还包括：

采用所述第三融合模块对所述控制信号和所述预设词的前一个词的状态进行融合，得到所述预设词的融合状态；

所述采用所述第一融合模块对所述控制信号和所述第一输入特征进行融合，得到所述预设词的状态，包括：

采用所述第一融合模块对所述融合状态和所述第一输入特征进行融合，得到所述预设词的状态。

3.根据权利要求2所述的方法，其特征在于，所述特征提取模型还包括：第四融合模块，所述输入门还包括：第二输入特征模块和第四激活函数层，所述方法还包括：

采用所述第四激活函数层对所述预设词进行特征提取后，由所述第四激活函数层进行处理，得到所述预设词的第二输入特征；

采用所述第四融合模块对所述第一输入特征和所述第二输入特征进行融合，得到所述预设词的融合特征；

所述采用所述第一融合模块对所述融合状态和所述第一输入特征进行融合，得到所述预设词的状态，包括：

采用所述第一融合模块对所述融合状态和所述融合特征进行融合，得到所述预设词的状态。

4.根据权利要求3所述的方法，其特征在于，所述第一融合模块为加法运算模块，所述第二融合模块、所述第三融合模块和所述第四融合模块均为点乘运算模块。

5.根据权利要求3所述的方法，其特征在于，所述第一激活函数层和所述第二激活函数层均为第一激活函数的处理层，所述第三激活函数层和所述第四激活函数层均为第二激活函数的处理层。

6.根据权利要求1-5中任一所述的方法，其特征在于，所述方法还包括：

根据所述自然语言文本的特征序列，采用预设的自然语言处理模块，对所述特征序列执行对应的处理任务。

7.根据权利要求6所述的方法，其特征在于，所述处理任务为如下任一：标注任务、翻译任务、文本蕴含识别任务。