[发明专利]验证预训练语言模型中群体外显和内隐态度的分析装置

说明书

本发明公开一种验证预训练语言模型中群体外显和内隐态度的分析装置，包括数据处理模块，用于解析提取社会群体中用户发表的言论数据，根据内隐联想测试中提到的概念词和属性词来对中英文维基百科、twitter和微博中用户的言论处理分析；将文本语料分割成社会群体对目标概念的外显和内隐态度；模型训练模块，用于构建学习社会群体外显和内隐态度的预训练语言模型；并利用群体内隐言论集合A和群体外显言论集合B分别训练包含社会群体外显和内隐态度的预训练语言模型；外显和内隐态度分析模块，用于量化预训练语言模型中社会群体的外显和内隐态度。

技术领域

本发明涉及社会计算和社会心理学领域，特别是涉及一种基于语料分割区分预训练语言模型中群体外显和内隐态度的分析装置及方法。

背景技术

近年来，随着互联网的快速发展，社交媒体以迅猛的速度改变我们彼此沟通、联系及兴趣分享的方式，逐渐变成我们工作和生活的必须品。越来越多的人选择通过社交媒体发表自己的观点，随之产生了海量的文本数据。这些社交媒体文本数据也直接或间接的反映出用户对某一事件的态度。

在目前的研究中，关于个体或群体的态度研究主要集中在社会心理学领域，形成了一套较为完善的外显态度和内隐态度的研究体系。其中，外显态度是人们对观点及情感的直接表述，是有意识的、可控的；而内隐态度指对于特定事物，人们没有直接表达出来的、深层意识中的真实态度[1,2]。同时，借助自然语言处理技术，语言也已经开始被用于分析态度偏见[3-6]，通过分析个体或群体话语的情感和语义可以挖掘个体或群体对某些事件，对象，人物或概念的态度[7]。

在心理学领域，自我报告评估(Self-Report Assessment，SRA)[8]和内隐联想测验(Implicit Association Test，IAT)[2]常分别被用于测量外显和内隐态度。SRA是被试者对有关自身的状态、感觉、想法、信念、过去行为等问题的陈述或一系列回答，通常以问卷调查或访谈等形式进行。但是，被试者可能无法如实做出回应，一方面由于记忆的错误，记不得自己的行为和感受，另一方面可能是迫于社会压力，针对敏感对象(如个人情感、特殊偏好、政治、文化、宗教等)进行虚假表述[9]。IAT是Greenwald等人在1998年提出的经典内隐态度测量方法。IAT的认知及生理学基础认为对象(如某个事物)与属性(如好、坏)被保存于大脑神经网络各结点，且二者在神经网络上的距离会影响认知过程在对象与属性之间建立关联的效率。因此，IAT通过测量被试者对内隐态度相关的对象与属性进行分类的速度，来间接地测量对象与属性在被试者深层意识中的认知距离，从而获得被试者的内隐态度[10]。

在自然语言处理领域，基于文本语言的态度分析[11,12]主要依赖于文本中态度的显式表达，并未针对内隐态度进行深入研究。在将心理学测量与自然语言处理技术相结合或比较方面，研究者们做出了新的尝试。2017年，Caliskan等人在Science发表文章将IAT中的认知距离与语义距离相类比，发现面向语义的词嵌入关联测试(WEAT)[4]与IAT具有相关性。2018年，Garg则利用这种方法调研了近一个世纪内人群的态度演变[13]。而2019年May利用Bert将这种思想发展到了句子级判别中[5]。然后，这些嵌入被应用于大量的下游应用中，并进一步放大偏见[14,15]。近些年的研究显示，人群语言的表示学习结果与人群的态度偏见存在关联。像ELMo[16]和BERT[17]这样经过事先训练过的预训练语言模型已经变得越来越普遍。2018年，Kiritchenko和Mohammad提出公平评价语料(EEC)分析了219个自动情绪分析系统，来挖掘群体对某些性别和种族的态度偏见[18]。2019年，Kurita等人通过WEAT发现了BERT预训练语言模型中存在态度偏见[6]。2021年，Silva系统性研究了Transformer中存在的态度偏见[19]。