[发明专利]端到端的语言模型预训练方法、系统、设备及存储介质

权利要求书

1.端到端的语言模型预训练方法，其特征在于，包括：

根据预设的知识相近判断规则，从现有知识库中检索得到与输入的知识片段的知识相近的现有知识片段；

将输入的所述知识片段和检索到的所述现有知识片段进行拼接，得到拼接知识片段；

将所述拼接知识片段进行掩码处理；

将掩码后的拼接知识片段作为语言模型预训练的输入进行预测训练，完成端到端的语言模型预训练。

2.根据权利要求1所述的端到端的语言模型预训练方法，其特征在于，所述现有知识库为现有的外部知识库和/或语言模型预训练样本中除输入的所述知识片段外其他知识片段的集合。

3.根据权利要求2所述的端到端的语言模型预训练方法，其特征在于，当所述现有知识库为现有的所述外部知识库时，所述根据预设的知识相近判断规则，从现有知识库中检索得到与输入的知识片段的知识相近的现有知识片段之前，所述方法还包括：

对所述外部知识库中的每篇目标文章进行切分，得到长度小于设定的单词数量的知识片段；

将由切分得到的每个所述知识片段转化为对应的向量表示，该向量表示中包含了对应知识片段的所有语义信息；

对所述外部知识库中所有知识片段对应的向量表示建立索引，完成外部知识库的初步预处理。

4.根据权利要求1所述的端到端的语言模型预训练方法，其特征在于，所述根据预设的知识相近判断规则，从现有知识库中检索得到与输入的知识片段的知识相近的现有知识片段包括：

将输入的所述知识片段的向量表示，与所述现有知识片段的向量表示做向量内积；

将得到的所述向量内积作为相关性的得分，从大到小进行排序；

从排序中选择符合设定阈值的目标向量内积，得到目标向量内积对应的现有知识片段为相近的现有知识片段。

5.根据权利要求1所述的端到端的语言模型预训练方法，其特征在于，所述将输入的所述知识片段和检索到的所述现有知识片段进行拼接，得到拼接知识片段包括：

在第一字符后依次拼接输入的所述知识片段和检索到的所述现有知识片段；

在输入的所述知识片段和检索到的所述现有知识片段之间分别设置第二字符；

所述第一字符作为整个拼接知识片段的起始标识；

所述第二字符作为知识片段间的分隔标识。

6.根据权利要求1所述的端到端的语言模型预训练方法，其特征在于，所述将掩码后的拼接知识片段作为语言模型预训练的输入进行预测训练时，预测训练的交叉熵表示如下，

其中，K表示被掩码掉的单词数量，即样本数量；(l)表示向量的第l维；mi表示被掩码掉的第i个单词；yi为真实单词所对应的编码。

7.根据权利要求1所述的端到端的语言模型预训练方法，其特征在于，所述将输入的所述知识片段和检索到的所述现有知识片段进行拼接，以及所述将所述拼接知识片段进行掩码处理时，均采用BERT模型的拼接和掩码方法。

8.端到端的语言模型预训练系统，其特征在于，包括：

检索增强模块，根据预设的知识相近判断规则，从现有知识库中检索得到与输入的知识片段的知识相近的现有知识片段；

拼接模块，将输入的所述知识片段和检索到的所述现有知识片段进行拼接，得到拼接知识片段；

掩码模块，将所述拼接知识片段进行掩码处理；

预训练模块，将掩码后的拼接知识片段作为语言模型预训练的输入进行预测训练，完成端到端的语言模型预训练。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

所述存储器存储有能够被至少一个处理器执行的指令，所述指令被至少一个处理器执行时，实现如权利要求1-7中任一项所述的端到端的语言模型预训练方法。

10.一种计算机可读存储介质，其特征在于，存储有能够执行的计算机指令，所述的计算机指令被执行时，实现权利要求1至7任一项所述的端到端的语言模型预训练方法。