[发明专利]一种大规模预训练模型微调方法及装置在审
| 申请号： | 202110628376.7 | 申请日： | 2021-06-04 |
| 公开（公告）号： | CN113486162A | 公开（公告）日： | 2021-10-08 |
| 发明（设计）人： | 常宝宝;许润昕 | 申请（专利权）人： | 北京大学 |
| 主分类号： | G06F16/332 | 分类号： | G06F16/332;G06K9/62;G06N3/02 |
| 代理公司： | 北京万象新悦知识产权代理有限公司 11360 | 代理人： | 贾晓玲 |
| 地址： | 100871*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公布了一种大规模预训练模型微调方法及装置，所述方法包括：获取下游任务的训练数据集和预训练模型；根据所述训练数据集为所述预训练模型的各个参数计算出费希尔信息量；将预训练模型的各个参数，按照计算出的费希尔信息量的绝对值进行排序；选取设定比例的参数组成下游任务的功能子网络；对预训练模型进行微调，只更所述新功能子网络中的参数。本发明对不同的下游任务，自动选择与其最相关的、最重要的功能子网络，在微调过程中只更新这个功能子网络，这样降低了模型的复杂度与假设空间，能够有效避免模型在下游任务中产生严重的过拟合现象。 | ||
| 搜索关键词： | 一种 大规模 训练 模型 微调 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京大学，未经北京大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110628376.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种植物简易种植方便包
- 下一篇：一种三支柱绝缘子固化方法
