[发明专利]大规模语言模型去偏倚方法、系统、设备及存储介质

说明书

本发明提供一种大规模语言模型去偏倚方法、系统、设备及存储介质，包括：获取基于神经网络的大规模预训练语言模型；针对所述大规模预训练语言模型采用数据自生成方法获得用于性别偏倚分析的文本数据，形成语料库，基于所述语料库建立一系列模板；利用所述模板计算所述大规模预训练语言模型的性别偏倚水平，根据性别偏倚水平反向传播计算大规模预训练语言模型的纠偏梯度；根据纠偏梯度更新大规模预训练语言模型中的模型参数，重复寻优更新直至满足预设更新完成条件，得到去性别偏倚的大规模语言模型。因此本发明从信息论的角度分析语言模型的性别偏倚，且将偏差修正问题视为多目标优化问题，以减少偏倚，采用自动生成算法来解决训练数据不足的问题。

技术领域

本申请涉及到人工智能技术领域，特别是涉及一种大规模语言模型去偏倚方法、系统、设备及存储介质。

背景技术

大规模预训练语言模型已广泛应用于各种NLP(自然语言处理)任务中，取得了良好的效果。然而许多著作已经证明这些大规模语言模型包含性别偏倚，因此通过使用大规模预训练模型，这些性别偏倚进入各种下游任务，这可能给系统带来不可预测的风险。

有一系列关于静态词嵌入的去性别偏倚方法，例如数据操纵(Zhao等人， 2018b；Madaan等人，2018；Prates等人，2020；Vanmassenhove等人，2019； Park等人，2018)，识别性别子空间(Schmidt，2015；Bolukbasi等人，2016) 以及新目标函数的设计(Zhao等人，2018a)。

但是大规模预训练语言模型中如何去偏倚存在很多困难。首先，因为原始的训练数据可能不是公开的，并且训练这些模型需要消耗大量的计算资源，所以很难通过数据操纵或新的目标函数来减少模型中的性别偏倚。其次，不同于静态的词嵌入，大规模预训练模型中的一个微小变化都可能对模型造成巨大的破坏。在这种情况下，急需找到一种高效、低成本、不依赖于训练数据的去偏倚算法。

发明内容

为解决现有技术存在的问题，本发明提供一种大规模语言模型去偏倚方法、系统、设备及存储介质，本发明提供了一种高效、低成本、不依赖于训练数据的去偏倚算法。

为达到上述目的，本发明采用了以下技术方案：

一种大规模语言模型去偏倚方法，包括：

获取基于神经网络的大规模预训练语言模型；

针对所述大规模预训练语言模型采用数据自生成方法获得用于性别偏倚分析的文本数据，形成语料库，基于所述语料库建立一系列模板；

利用所述模板计算所述大规模预训练语言模型的性别偏倚水平，根据性别偏倚水平反向传播计算大规模预训练语言模型的纠偏梯度；

根据纠偏梯度更新大规模预训练语言模型中的模型参数，重复寻优更新直至满足预设更新完成条件，得到去性别偏倚的大规模语言模型。

作为本发明的进一步改进，所述大规模预训练语言模型为GPT-2模型，其中自然语言语料库表现为符号序列[s₁,s₂,...,s_n+1]的形式；大规模预训练语言模型被建模为计算条件概率的任务：

p(s_n+1|s₁,s₂,...,s_n). (1)

大规模预训练语言模型包含两个部分，第一部分令牌嵌入ε将符号序列转换为嵌入向量序列以用于神经网络的计算，即

特别地，对于静态的令牌嵌入ε有：

ε([s₁，s₂，…，s_n])＝[ε(s₁)，ε(s₂)，…，ε(s_n)]