[发明专利]大规模语言模型去偏倚方法、系统、设备及存储介质在审
申请号: | 202210184515.6 | 申请日: | 2022-02-25 |
公开(公告)号: | CN114462395A | 公开(公告)日: | 2022-05-10 |
发明(设计)人: | 刘奕然;刘潇;于洋 | 申请(专利权)人: | 交叉信息核心技术研究院(西安)有限公司 |
主分类号: | G06F40/237 | 分类号: | G06F40/237;G06F40/20;G06N3/08;G06N3/04 |
代理公司: | 北京中巡通大知识产权代理有限公司 11703 | 代理人: | 张弘 |
地址: | 710077 陕西省西安市高新*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 大规模 语言 模型 偏倚 方法 系统 设备 存储 介质 | ||
1.一种大规模语言模型去偏倚方法,其特征在于,包括:
获取基于神经网络的大规模预训练语言模型;
针对所述大规模预训练语言模型采用数据自生成方法获得用于性别偏倚分析的文本数据,形成语料库,基于所述语料库建立一系列模板;
利用所述模板计算所述大规模预训练语言模型的性别偏倚水平,根据性别偏倚水平反向传播计算大规模预训练语言模型的纠偏梯度;
根据纠偏梯度更新大规模预训练语言模型中的模型参数,重复寻优更新直至满足预设更新完成条件,得到去性别偏倚的大规模语言模型。
2.根据权利要求1所述的大规模语言模型去偏倚方法,其特征在于,
所述大规模预训练语言模型为GPT-2模型,其中自然语言语料库表现为符号序列[s1,s2,...,sn+1]的形式;大规模预训练语言模型被建模为计算条件概率的任务:
p(sn+1|s1,s2,...,sn). (1)
大规模预训练语言模型包含两个部分,第一部分令牌嵌入ε将符号序列转换为嵌入向量序列以用于神经网络的计算,即
特别地,对于静态的令牌嵌入ε有:
ε([s1,s2,…,sn])=[ε(s1),ε(s2),…,ε(sn)]
另一部分是用于计算条件概率(1)的神经网络结构M为:
3.根据权利要求1所述的大规模语言模型去偏倚方法,其特征在于,
所述针对所述大规模预训练语言模型采用数据自生成方法获得用于性别偏倚分析的文本数据,具体包括:
对于用于偏差计算的数据,满足两个要求:
1)语境应当把职业和性别两个概念联系起来,要求文本数据包含目标职业词语并满足:
对于某种阈值s;
2)文本数据不应包含提示性别的信息,要求文本数据由中性字组成。
4.根据权利要求3所述的大规模语言模型去偏倚方法,其特征在于,
所述针对所述大规模预训练语言模型采用数据自生成方法获得用于性别偏倚分析的文本数据,形成语料库,基于所述语料库建立一系列模板,具体包括:
对于选定的职业,确定句子的开头;
通过GPT-2模型的预测结果在生成数据中逐一添加单词随机以生成句子;
在这个过程中,把中性作为单词选择的标准,把中间作为算法结束的标准;在判断单词是否与性别相关的过程中,使用由贡献的单词列表;
若满足两个要求均满足则将满足要求的句子作为语料库,基于所述语料库建立一系列模板,并保存。
5.根据权利要求1所述的大规模语言模型去偏倚方法,其特征在于,
所述利用所述模板计算所述大规模预训练语言模型的性别偏倚水平,具体是使用性别信息的增益来测量给定语境的模型的性别偏倚,其表示为:
其中H(.)是香农熵的函数;
使用代词选择来计算模型的性别预测,即:
将对包含某职业的所有文本数据的性别偏倚的预期视为模型对某职业的性别偏倚,即:
并且定义模型在职业维度上的性别偏倚,用表示,是所有职业的偏倚的平均值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于交叉信息核心技术研究院(西安)有限公司,未经交叉信息核心技术研究院(西安)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210184515.6/1.html,转载请声明来源钻瓜专利网。