[发明专利]大规模语言模型去偏倚方法、系统、设备及存储介质在审
| 申请号： | 202210184515.6 | 申请日： | 2022-02-25 |
| 公开（公告）号： | CN114462395A | 公开（公告）日： | 2022-05-10 |
| 发明（设计）人： | 刘奕然;刘潇;于洋 | 申请（专利权）人： | 交叉信息核心技术研究院（西安）有限公司 |
| 主分类号： | G06F40/237 | 分类号： | G06F40/237;G06F40/20;G06N3/08;G06N3/04 |
| 代理公司： | 北京中巡通大知识产权代理有限公司 11703 | 代理人： | 张弘 |
| 地址： | 710077 陕西省西安市高新*** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种大规模语言模型去偏倚方法、系统、设备及存储介质，包括：获取基于神经网络的大规模预训练语言模型；针对所述大规模预训练语言模型采用数据自生成方法获得用于性别偏倚分析的文本数据，形成语料库，基于所述语料库建立一系列模板；利用所述模板计算所述大规模预训练语言模型的性别偏倚水平，根据性别偏倚水平反向传播计算大规模预训练语言模型的纠偏梯度；根据纠偏梯度更新大规模预训练语言模型中的模型参数，重复寻优更新直至满足预设更新完成条件，得到去性别偏倚的大规模语言模型。因此本发明从信息论的角度分析语言模型的性别偏倚，且将偏差修正问题视为多目标优化问题，以减少偏倚，采用自动生成算法来解决训练数据不足的问题。 | ||
| 搜索关键词： | 大规模 语言 模型 偏倚 方法 系统 设备 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于交叉信息核心技术研究院（西安）有限公司，未经交叉信息核心技术研究院（西安）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210184515.6/，转载请声明来源钻瓜专利网。
