[发明专利]一种语言模型训练方法及装置

说明书

本发明公开了一种用于实验室知识传承的模型训练方法及装置。所述用于实验室知识传承的模型训练方法包括：获取主干模型；获取辅助语言模型；将辅助语言模型的最后一层与主干模型的最后一层进行融合从而获取融合模型；对融合模型进行预训练，从而获取训练后的融合模型；对训练后的融合模型进行拆分，从而获取经过训练的最终知识传承模型。本申请采用了基于编码器和解码器的语言模型作为主干网络，其风格相对严谨，同时采用了仅包含解码器（不含编码器）的语言模型作为辅助训练，其风格相对松散。并且，推理时，本发明将该层移除仅保留主干网络，这样辅助网络起到帮助训练的效果，最终使得模型在总体严谨的情况下适度学习发散能力。

技术领域

本申请涉及神经网络技术领域，具体涉及一种用于实验室知识传承的模型训练方法以及用于实验室知识传承的模型训练装置。

背景技术

现有的实验室知识传承大都依赖于同门口头或书面交流，比较难形成完备的体系，沟通效率相对较低。即便有一些实验室做了数据库或OA系统，但是依然没有能将海量知识做成有机的体系，使用极不便捷。

因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。

发明内容

本发明的目的在于提供一种用于实验室知识传承的模型训练方法来克服或至少减轻现有技术的至少一个上述缺陷。

本发明的一个方面，提供一种用于实验室知识传承的模型训练方法，所述用于实验室知识传承的模型训练方法包括：

获取主干模型的初始状态；

获取辅助语言模型的初始状态；

对主干模型以及辅助语言模型进行拼接，从而获取新的网络结构；

根据网络结构，通过辅助语言模型对主干模型进行辅助训练，从而更新所述主干模型的初始状态，从而获取主干模型的最终状态。

可选地，所述辅助语言模型包括CPM预训练模型。

可选地，所述CPM预训练模型采用如下方法进行预训练：

获取语料；

通过语料对辅助模型进行自监督训练，从而获取CPM预训练模型的初始状态。

可选地，在所述自监督训练过程中有两个预训练目标，其中一个预训练目标为空白填充、另一个预训练目标为文本生成。

可选地，在进行自监督训练过程中，采用两种掩码策略：其中一种是掩蔽输入的最后一部分词元，用于文本生成；另一种是随机掩蔽输入的词元，用于空白填充。

可选地，所述主干模型为T5模型。

可选地，所述辅助语言模型为GPT2模型。

本申请还提供了一种用于实验室知识传承的模型训练装置，所述用于实验室知识传承的模型训练装置包括：

主干模型获取模块，所述主干模型获取模块用于获取主干模型的初始状态；

辅助语言模型获取模块，所述辅助语言模型获取模块用于获取辅助语言模型的初始状态；

融合模块，所述融合模块用于对主干模型以及辅助语言模型进行拼接，从而获取新的网络结构；

训练模块，所述训练模块用于根据网络结构，通过辅助语言模型对主干模型进行辅助训练，从而更新所述主干模型的初始状态，从而获取主干模型的最终状态。

本申请还提供了一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的用于实验室知识传承的模型训练方法。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现如上所述的用于实验室知识传承的模型训练方法。

有益效果：