[发明专利]基于对抗性多模态自动编码器的危机信息检测方法及系统

权利要求书

1.基于对抗性多模态自动编码器的危机信息检测方法，其特征在于，包括如下步骤：

获取待检测的多模态数据；

基于待检测的多模态数据，采用对抗性多模态自动编码器学习图像模态数据与文本模态数据得到多模态联合表示；

其中，所述对抗性多模态自动编码器的构建过程包括：基于文本特征表示和视觉特征表示和自动编码器模块得到初始多模态联合表示；

基于初始多模态联合表示和对抗性模块，采用最小最大博弈法进行直接优化以及间接优化得到直接多模态联合表示和间接多模态联合表示，基于直接多模态联合表示和间接多模态联合表示得到多模态联合表示；

基于多模态联合表示和检测模型检测得到危机信息。

2.如权利要求1所述的基于对抗性多模态自动编码器的危机信息检测方法，其特征在于，所述采用最小最大博弈法进行直接优化以及间接优化得到直接多模态联合表示和间接多模态联合表示包括：

对原始文本特征表示和视觉特征表示进行编码，基于编码后的文本特征表示和视觉特征表示进行直接优化得到直接多模态联合表示；基于直接多模态联合表示进行重构得到重构文本特征表示和视觉特征表示；基于原始文本特征表示和视觉特征表示和重构文本特征表示和视觉特征表示进行间接优化得到间接多模态联合表示。

3.如权利要求1所述的基于对抗性多模态自动编码器的危机信息检测方法，其特征在于，所述原始文本特征表示通过多模态推文内容中的文本内容和微调的Bert进行提取，所述视觉特征表示通过多模态推文内容中的视觉内容和ResNet50进行提取。

4.如权利要求1所述的基于对抗性多模态自动编码器的危机信息检测方法，其特征在于，提取文本模态数据特征之前需要进行预处理：将文本句子中的转发标题用户句柄、以及停用词和标点符号进行删除，之后对句子进行分词操作，最后在每个句子的开头与结尾分别加入设定字符生成经过预处理的文本模态数据。

5.如权利要求2所述的基于对抗性多模态自动编码器的危机信息检测方法，其特征在于，所述对原始文本特征表示和视觉特征表示进行编码中，采用编码器组件进行编码，每个组件包括多个BGA block与一层全连接层，其中每个BGA block中包含一层Bi-GRU与一层Self-Attention，通过Bi-GRU获取带有上下文信息的x_G，通过Self-Attention获取增强上下文信息的x_A。

6.如权利要求1所述的基于对抗性多模态自动编码器的危机信息检测方法，其特征在于，所述检测模型包括三个全连接层，在第一层全连接层与第二层全连接层之间加入了dropout，在第二层全连接层与第三层全连接层之间加入了tanh激活函数。

7.如权利要求1所述的基于对抗性多模态自动编码器的危机信息检测方法其特征在于，采用交叉熵函数来计算检测损失。

8.基于对抗性多模态自动编码器的危机信息检测系统，其特征在于，包括：

数据获取模块，用于获取待检测的多模态数据；

对抗性多模态自动编码模块，用于基于待检测的多模态数据，采用对抗性多模态自动编码器学习图像模态数据与文本模态数据得到多模态联合表示；

其中，所述对抗性多模态自动编码器的构建过程包括：基于文本特征表示和视觉特征表示和自动编码器模块得到初始多模态联合表示；

基于初始多模态联合表示和对抗性模块，采用最小最大博弈法进行直接优化以及间接优化得到直接多模态联合表示和间接多模态联合表示，基于直接多模态联合表示和间接多模态联合表示得到多模态联合表示；

推文检测模块，用于基于多模态联合表示和检测模型检测得到危机信息。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于危机信息检测的对抗性多模态推文检测方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于对抗性多模态自动编码器的危机信息检测方法中的步骤。