[发明专利]基于对抗性多模态自动编码器的危机信息检测方法及系统

说明书

本发明属于信息处理技术领域，提供了基于对抗性多模态自动编码器的危机信息检测方法及系统，提出了一种端到端的AMAE模型，用于社交媒体上危机相关信息的检测与分析，由四个模块组成：特征提取模块、自动编码器模块、对抗性模块、检测模块。特征提取模块与自动编码器模块用于提取多模态表示，检测模块用于得出检测与分析的决策，对抗性模块通过缩小异构模态异质性差异与减少单峰信息的丢失来优化多模态表示，在大型真实数据集上验证了该模型的有效性。

技术领域

本发明属于信息处理技术领域，尤其涉及基于对抗性多模态自动编码器的 危机信息检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在 先技术。

近年来，社交媒体凭借其实时、便捷的优点已经成为各种公共事件期间沟 通与讨论的重要渠道。社交媒体极大地简化了人们获取和传播信息的方式，已 经成为重要的信息来源并发挥着对传统媒体的补充作用。

海量的社交媒体推文已经成为数据挖掘与分析的重要资源，尤其是在危机 事件发生期间，用户通常发布包含基础设施损坏情况与人员伤亡情况的推文， 这些推文中的潜在信息若能被有效的检测与分析，将会对态势感知与救援决策 的制定提供贡献。

现有的推文检测包括单模态谣言检测和多模态谣言检测。

基于单模态的谣言检测已经得到广泛研究，Neppali等人通过组合深度神经 网络与朴素贝叶斯分类器检测危机期间的信息性推文，并在真实的数据集上表 现了优秀的性能；Alam等人提出了一种卷积神经网络(CNN)与图神经网络相结 合的半监督框架，对于未标记的数据有着更好的学习效果，使用推特上两个真 实的危机相关数据集验证了模型的性能。针对危机相关推文中的单峰视觉信息， Alam等人采用迁移学习的方式，使用多种预训练的卷积神经网络对危机相关推 文进行分类；

多模态谣言检测中，Ma等人提出了一种基于循环神经网络(RNN)的谣言检 测框架，通过使用不同的循环单元挖掘推文中上下文信息的变化。Ma等人基于 树形结构挖掘推文中的内容语义与传播线索，并结合RNN学习社交媒体谣言的 联合特征表示。

推文中的多模态内容往往能够提供互补性的信息，因此也有一部分工作综 合分析多模态内容以进行推文的检测与分析。Gao等人提出了一种多模态对抗性 神经网络(MANN)，他们通过对抗性训练捕获可转移的、灾难不变的特征表示， 并在大型真实数据集上验证了该方法的有效性。Jin等人提出了一种端到端的基 于注意力机制的循环神经网络模型(att-RNN)，融合来自文本、图像与社会语 境的特征生成联合表示，他们在模型中使用注意力机制挖掘多模态特征之间的 关系并通过分量分析验证了模型的有效性。Wang等人提出了一种用于社交媒体 谣言检测的event adversarial neural network，为了能够学习可转移的、事 件不变的特征表示，他们使用对抗性的事件鉴别模块移除特定于事件的特征同 时保存共享特征，他们通过广泛的实验与定量分析验证了模型的性能。 Abavisani等人提出了一种融合视觉与文本输入的多模态框架 (SSE-Cross-Base-DenseNet，SCBD)，他们使用交叉注意力模块以过滤异构模 态特征表示中不具信息性或误导性的信息。Khatter等人提出了一种多模态变分 自动编码器，通过学习推文中多模态内容的联合表示挖掘社交媒体中的假新闻 与谣言。

发明人发现，目前的推文检测存在以下技术问题：一方面，上述方法致力 于捕捉图文数据的共享语义表示，在一定程度上忽略了其模态特定信息的影响。

另一方面，上述基于编码器-解码器框架的融合学习模型未能有效解决映射 过程中的数据冗余问题。

因此缺乏必要的技术手段来减少模态特定信息的丢失和解决映射过程中的 数据冗余问题。

发明内容