[发明专利]验证预训练语言模型中群体外显和内隐态度的分析装置

权利要求书

1.一种验证预训练语言模型中群体外显和内隐态度的分析装置，其特征在于，包括数据处理模块、模型训练模块以及外显和内隐态度分析模块；

所述数据处理模块用于解析提取社会群体中用户发表的言论数据，根据内隐联想测试中提到的概念词和属性词来对中英文维基百科、twitter和微博中用户的言论处理分析；将文本语料分割成社会群体对目标概念的外显和内隐态度；首先遮蔽掉文本语料中既包含概念词和属性词的句子中的目标词汇得到群体内隐言论集合A，再遮蔽掉文本语料中单独包含概念词或属性词的句子中的目标词汇得到群体外显言论集合B；

模型训练模块，用于构建学习社会群体外显和内隐态度的预训练语言模型；并利用群体内隐言论集合A和群体外显言论集合B分别训练包含社会群体外显和内隐态度的预训练语言模型；

外显和内隐态度分析模块，利用NLP领域现有的偏见测量方法，分别根据词嵌入之间、句嵌入之间在向量空间中的距离远近和上下文中目标词汇之间的条件概率来测量对应目标词和属性词之间的关联，从而量化预训练语言模型中社会群体的外显和内隐态度。

2.一种验证预训练语言模型中群体外显和内隐态度的分析方法，其特征在于，包括：

(1)根据内隐联想测试中提到的概念词和属性词来对中英文维基百科、twitter和微博中用户的言论处理分析；将文本语料分割成社会群体对目标概念的外显和内隐态度；

首先遮蔽掉文本语料中既包含概念词和属性词的句子中的目标词汇得到群体内隐言论集合A，再遮蔽掉文本语料中单独包含概念词或属性词的句子中的目标词汇得到群体外显言论集合B；

(2)利用群体内隐言论集合A和群体外显言论集合B分别训练包含社会群体外显和内隐态度的预训练语言模型；

(3)利用NLP领域现有的偏见测量方法，分别根据词嵌入之间、句嵌入之间在向量空间中的距离远近和上下文中目标词汇之间的条件概率来测量对应目标词和属性词之间的关联，从而量化预训练语言模型中社会群体的外显和内隐态度。

3.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求2所述验证预训练语言模型中群体外显和内隐态度分析方法的步骤。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求2所述验证预训练语言模型中群体外显和内隐态度分析方法的步骤。