[发明专利]基于对抗学习和语义相似度的社交网络跨媒体搜索方法

说明书

本发明提出了一种基于对抗学习和语义相似度的社交网络跨媒体搜索方法，包含文本和图像的特征提取网络、公共语义空间映射网络、语义相似度网络以及模态判别网络，创新性突出，主要用于社交网络跨媒体搜索中。本发明应用在图像以及文本处理领域，可以处理不同模态下的跨媒体数据，使得跨媒体数据之间的检索高效并且准确。

技术领域

本发明属于图像处理和文本处理的技术领域，具体涉及到跨媒体数据之间的相互检索，集成多种技术，如对抗学习、深度神经网络、语义融合、排序搜索算法等，最终实现跨媒体数据的语义关联以及搜索。

背景技术

随着移动互联网的高速发展，社交网络数据信息呈现爆炸式增长，越来越多的用户在各类社交媒体上发布大量实时信息，其中有关国民安全的信息显得尤为重要。在事故灾害发生的时候，能及时搜索到和灾害相关的文本和图像，能在一定程度上减小灾害带来的损失。微博是社交网络重要的组成部分，具有内容短小，传播快，用户量大等特点。微博数据对于国民安全相关热点事件内容具有敏感性，因此具有非常高的研究价值。微博数据的形式不仅包括文本，还有图像和视频，单一媒体数据的搜索已经不能很好地满足现有的社交网络信息需求，社交网络尤其是基于微博的跨媒体信息搜索的需求与日俱增。

近年来，深度学习在文本和图像领域应用十分广泛，它对数据特征的提取准确而高效，为跨媒体搜索提供了支持。然而不同模态之间的数据特征分布不同，语义空间不能互通，即包含相同语义内容的文本和图像不能通过它们所在的语义空间直接建立关联关系。对抗学习对于生成一个新的数据分布非常有效，已经被广泛应用于文本、图像、语音的生成。

提出一种基于对抗学习和语义相似度的社交网络跨媒体搜索方法(SemanticSimilarity based Adversarial Cross Media Retrieval，SSACR)，对国民安全相关的微博文本以及图像进行搜索，并根据语义相似度进行排序。该方法主要使用对抗训练的方式训练两个神经网络模型，即特征映射网络和模态判别网络。特征映射网络作为对抗学习的生成器，分别将来自文本和图像的特征映射到同一语义空间中，并使用语义及其相似度来训练特征映射网络，相似度约束能够减小同语义下不同模态数据的差异。模态判别网络作为对抗学习判别器，用来区分映射到同一语义空间中的数据的原本模态，并以数据的真实模态来训练模态判别网络。本发明提出的方法将搜索的文本或图像经过特征映射网络投影到同一语义空间后，根据和该空间中其他数据距离的远近来得到搜索结果排序。

发明内容

本发明所提出的基于对抗学习和语义相似度的社交网络跨媒体搜索方法(SSACR)包括图像特征输入网络、文本特征输入网络、特征映射网络、语义分布网络、语义相似网络以及模态判别网络。对于每一个图像-文本-语义三元组，先将图像和文本的特征进行提取，然后分别输入到图像特征映射网络和文本特征映射网络中，语义向量输入到语义分布网络中。语义相似度网络对输入的语义向量进行相似度计算。特征映射网络将图像和文本特征映射到S中，模态判别网络根据映射到S数据的模态进行判别。总体流程如图1所示。

本发明提出的SSACR方法在公共语义空间S中得到合适的S_V和S_T，使得它们保持映射前的语义关系，同时使得语义相近的不同模态的数据在S中距离较近，相同模态的不同语义的数据在S中距离较远。

为达到上述目的，如图1所示，本发明的技术方案划分为四个部分：

1.基于深度卷积网络的图像特征提取；

2.基于TF-IDF的文本特征提取；

3.基于余弦相似度的跨模态语义相似度的计算；

4.基于对抗网络的模态判别。

本发明有以下一些技术特征：