[发明专利]一种基于乱序重排的自然语言模型预训练方法及电子设备

权利要求书

1.一种基于乱序重排的自然语言模型预训练方法，其特征在于：其包括如下步骤：

S1、提供一个顺序恢复网络及预训练文本；

S2、按照词级别或者句级分别将所述预训练文本的顺序打乱以获得词级训练文本或句级训练文本；

S3、将打乱顺序的词级训练文本的每个词转化为输入词向量或者对所述句级训练文本的每个句子提取句意以获得与每个句子对应的输入句向量；

S4、将所述输入词向量或所述输入句向量输入至顺序恢复网络中以获得与词级训练文本或句级训练文本对应的预测顺序概率分布；

S5、根据所述预测顺序概率分布和所述词级训练文本的真实顺序对比或者根据所述预测顺序概率分布和所述句级训练文本的真实顺序对比以对顺序恢复网络进行优化；

S6、重复上述步骤S2-S5直至顺序恢复网络达到设定的优化条件以获得优化后的顺序恢复网络。

2.如权利要求1所述的基于乱序重排的自然语言模型预训练方法，其特征在于：所述步骤S4包括如下步骤：

步骤S41、将所述输入词向量和所述输入句向量输入至所述顺序恢复网络中以获得与所述输入词向量对应的输出词向量或与所述输入句向量对应的输出句向量；

步骤S42、将所述输出词向量或所述输出句向量分别转化为句向量或段落向量；及

步骤S43、将所述步骤S42中的句向量或段落向量分别和所述输入词向量或输入句向量比对以获得预测顺序概率分布；或者将所述步骤S42中的句向量或段落向量分别和所述步骤S41中输出词向量和输出句向量比对以获得预测顺序概率分布。

3.如权利要求2所述的基于乱序重排的自然语言模型预训练方法，其特征在于：在所述步骤S41中，将所述输入词向量输入至所述顺序恢复网络中之前在所述词级训练文本的句首添加一个[CLS]字符，同时将所述[CLS]字符转化为输入词向量，同时将所述[CLS]字符的输入词向量输入至所述顺序恢复网络中进行转化，所述[CLS]字符经所述顺序恢复网络输出之后代表所述预训练句子的句向量。

4.如权利要求2所述的基于乱序重排的自然语言模型预训练方法，其特征在于：在所述步骤S41中，将所述输入句向量输入至所述顺序恢复网络中之前在所述句级训练文本的段首添加一个[CLS]字符，同时将所述[CLS]字符转化为输入句向量，同时将所述[CLS]字符的输入句向量输入至所述顺序恢复网络中进行转化，所述[CLS]字符经所述顺序恢复网络输出之后代表所述句级训练文本的段落向量。

5.如权利要求1所述的基于乱序重排的自然语言模型预训练方法，其特征在于：在上述步骤S3中，通过Transformer网络框架将所述句级训练文本的每个句子提取句意以获得与每个句子对应的输入句向量。

6.如权利要求5所述的基于乱序重排的自然语言模型预训练方法，其特征在于：通过Transformer网络框架将所述句级训练文本的每个句子提取句意以获得与每个句子对应的输入句向量的步骤和所述步骤S41中将所述输入词向量输入至所述顺序恢复网络中以获得与所述输入词向量对应的词向量以及步骤S42中将所述词向量转化为句向量的步骤相同，所述步骤S42中的句向量即对应为句级训练文本中每个句子对应的输入句向量。

7.如权利要求2所述的基于乱序重排的自然语言模型预训练方法，其特征在于：基于乱序重排的自然语言模型预训练方法还可以包括如下步骤：步骤S20、将所述词级训练文本中的部分字符按照预设比例进行覆盖或替换；此时所述步骤S43中的输入词向量对应为所述词级训练文本中的字符不被覆盖或者替换时的输入词向量，所述步骤S20在所述步骤S2和所述步骤S3之间。

8.如权利要求2所述的基于乱序重排的自然语言模型预训练方法，其特征在于：所述顺序恢复网络包括Transformer网络框架和Pointer Network网络框架；其中，

所述Transformer网络框架用于执行所述步骤S41和所述步骤S42；

所述Pointer Network网络框架用于执行所述步骤S43和所述步骤S5。