[发明专利]基于多任务学习网络的多模态仇恨模因检测方法

权利要求书

1.一种基于多任务学习网络的多模态仇恨模因检测方法，其特征在于，包括以下步骤：

S1：收集若干仇恨模因样本，每个仇恨模因样本中的模因图像为带有文本的图像，为每幅图像标注仇恨模因标签，当标签为1则表示该模因图像中存在仇恨，当标签为0则表示该模因图像中不存在仇恨；

S2：构建多任务学习网络，包括模因图像预处理模块、文本特征提取模块、图像特征提取模块、特征拼接模块、第一特征映射模块、第二特征映射模块、第三特征映射模块、第四特征映射模块、文本单模态标签生成模块、第五特征映射模块、第六特征映射模块和图像单模态标签生成模块，其中：

模因图像预处理模块用于从输入模因图像中提取出文本T并发送给文本特征提取模块，然后将提取得到的文本从模因图像中去除得到图像V并发送给图像特征提取模块；

文本特征提取模块用于提取文本T的文本特征F_t，然后发送给特征拼接模块和第三特征映射模块；

图像特征提取模块用于提取图像V的文本特征F_v，然后发送给特征拼接模块和第五特征映射模块；

特征拼接模块用于将文本特征F_t和图像特征F_v进行拼接，将拼接得到的特征F_m发送至第一特征映射模块；

第一特征映射模块用于将特征F_m映射为M维特征向量M的值根据实际需要确定，将M维特征向量发送给第二特征映射模块和文本单模态标签生成模块、图像单模态标签生成模块；

第二特征映射模块用于将特征向量映射为输入模因图像的预测标签

第三特征映射模块用于将文本特征F_t映射为M维文本特征向量F_t^*，并发送给第四特征映射模块和文本单模态标签生成模块；

第四特征映射模块用于将文本特征向量F_t^*映射为根据文本得到的预测标签

文本单模态标签生成模块用于根据输入模因图像的真实标签y_m、特征向量和文本特征向量F_t^*生成文本辅助标签y_t；

第五特征映射模块用于将图像特征F_v映射为M维图像特征向量并发送给第六特征映射模块和图像单模态标签生成模块；

第六特征映射模块用于将图像特征向量映射为根据图像得到的预测标签

图像单模态标签生成模块用于根据输入模因图像的真实标签y_m、特征向量和图像特征向量生成图像辅助标签y_v；

S3：将步骤S1收集的每个仇恨模因样本中的模因图像作为多任务学习网络的输入，对应的仇恨模因标签作为真实标签，对多任务学习网络进行训练；

S4：对于步骤S3训练完成的多任务学习网络，将其中图像处理模块、文本特征提取模块、图像特征提取模块、特征拼接模块、第一特征映射模块和第二特征映射模块组成的子网络作为仇恨模因检测网络；

S5：对于待检测的模因图像，将其输入仇恨模因检测网络，得到检测结果。

2.根据权利要求1所述的多模态仇恨模因检测方法，其特征在于，所述多任务学习网络中的特征映射模块包括线性层和ReLU激活层，其中：

线性层用于对输入的特征f进行线性映射，得到特征向量f′并发送给ReLU激活层；

ReLU激活层用于采用ReLU激活函数对接收到的特征向量f′进行处理，得到处理后的特征向量f″。