[发明专利]一种语言模型训练方法及装置有效
| 申请号： | 202310904628.3 | 申请日： | 2023-07-24 |
| 公开（公告）号： | CN116629346B | 公开（公告）日： | 2023-10-20 |
| 发明（设计）人： | 朱权;马建毅;吕磊 | 申请（专利权）人： | 成都云栈科技有限公司 |
| 主分类号： | G06N3/0895 | 分类号： | G06N3/0895;G06N3/084;G06N3/096;G06N3/045;G06N3/0455;G06N3/047;G06N3/0475;G06N3/048;G06F40/20 |
| 代理公司： | 北京艾格律诗专利代理有限公司 11924 | 代理人： | 窦杰平 |
| 地址： | 610000 四川省成都市天府新区兴隆街*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 语言 模型 训练 方法 装置 | ||
1.一种用于实验室知识传承的模型训练方法，其特征在于，所述用于实验室知识传承的模型训练方法包括：
获取主干模型的初始状态；
获取辅助语言模型的初始状态；
对主干模型以及辅助语言模型进行拼接，从而获取新的网络结构；
根据网络结构，通过辅助语言模型对主干模型进行辅助训练，从而更新所述主干模型的初始状态，从而获取主干模型的最终状态。
2.如权利要求1所述的用于实验室知识传承的模型训练方法，其特征在于，所述辅助语言模型包括CPM预训练模型。
3.如权利要求2所述的用于实验室知识传承的模型训练方法，其特征在于，所述CPM预训练模型采用如下方法进行预训练：
获取语料；
通过语料对辅助模型进行自监督训练，从而获取CPM预训练模型的初始状态。
4.如权利要求3所述的用于实验室知识传承的模型训练方法，其特征在于，在所述自监督训练过程中有两个预训练目标，其中一个预训练目标为空白填充、另一个预训练目标为文本生成。
5.如权利要求4所述的用于实验室知识传承的模型训练方法，其特征在于，在进行自监督训练过程中，采用两种掩码策略：其中一种是掩蔽输入的最后一部分词元，用于文本生成；另一种是随机掩蔽输入的词元，用于空白填充。
6.如权利要求5所述的用于实验室知识传承的模型训练方法，其特征在于，所述主干模型为T5模型。
7.如权利要求6所述的用于实验室知识传承的模型训练方法，其特征在于，所述辅助语言模型为GPT2模型。
8.一种用于实验室知识传承的模型训练装置，其特征在于，所述用于实验室知识传承的模型训练装置包括：
主干模型获取模块，所述主干模型获取模块用于获取主干模型的初始状态；
辅助语言模型获取模块，所述辅助语言模型获取模块用于获取辅助语言模型的初始状态；
融合模块，所述融合模块用于对主干模型以及辅助语言模型进行拼接，从而获取新的网络结构；
训练模块，所述训练模块用于根据网络结构，通过辅助语言模型对主干模型进行辅助训练，从而更新所述主干模型的初始状态，从而获取主干模型的最终状态。
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的用于实验室知识传承的模型训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现如权利要求1至7中任意一项所述的用于实验室知识传承的模型训练方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都云栈科技有限公司，未经成都云栈科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202310904628.3/1.html，转载请声明来源钻瓜专利网。
