[发明专利]一种基于深度神经网络的跨媒体排序方法

说明书

技术领域

本发明涉及跨媒体检索，尤其涉及一种基于深度神经网络的跨媒体排序方法。

背景技术

图像具有丰富语义。一般来说，图像由一个个的像素点组成，计算机并不能直接理解图像所蕴含的语义信息。随着多媒体技术和网络技术的发展，越来越多的图像涌现出来。检索技术可以帮助用户从海量数据中快速查找到自己感兴趣的内容，成为计算机应用技术中越来越重要的领域。传统的检索技术，无论是基于关键词的检索还是基于内容的检索，都不能很好地满足用户希望用文本检索图像或者图像检索文本的需求。在基于关键词的检索系统中，需要事先对图像进行标注。但是目前存在的图像数量巨大，使得标注过程工程量浩繁。并且，由于标注内容不可避免地会受到标注者主观因素的影响，针对同一个图像，不同的标注者可能会标注不同的关键词，因此关键词往往不能客观反映图像所蕴含的全部语义。基于内容的图像检索技术则不需要对图像进行标注，基于比较用户提交的检索样例与被检索图像之间的相似度来实现图像检索，但是传统基于内容的图像检索技术存在两个弱点：一是用户只能检索与查询例子属于同一类型的媒体对象，如只能通过图像检索图像；二是图像的底层特征和高层语义存在语义鸿沟，即底层特征无法直接反映高层语义，因此检索性能受到限制。为了跨越不同模态数据间的语义鸿沟，更好地理解多媒体语义，同时为了满足用户跨媒体查询的需求，寻求一种基于语义的跨媒体排序方法颇有意义。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于深度神经网络的跨媒体排序方法。

基于深度神经网络的跨媒体排序方法包括如下步骤：

1)将文本检索图像的排序样本或者图像检索文本的排序样本构建为训练样本；

2)对构建得到的训练样本进行基于深度神经网络的跨媒体排序学习，得到多媒体语义空间以及跨媒体排序模型；

3)使用学习得到的跨媒体排序模型进行跨媒体检索：用户提交查询文档后，将查询文档和候选文档同时输入到所提出的深度神经网络中，根据深度神经网络输出的排序分数从大到小对所有跨媒体对象进行排序，得到跨媒体检索结果。所述的步骤1)包括：

1)对训练样本里的所有文本文档利用词袋模型进行特征表达，文本最终被表示为t∈R^m，其中m为文本空间的维数；

2)将训练样本里的所有图像文档缩放，使具有相同的宽度w和高度h，使用每个像素点的RGB通道值来表示每个像素，将所有像素拉成一个向量，则图像最终被表示为p∈R^3×w×h；

3)对文本检索图像方向而言，对每一个查询文本文档，构建一个候选图像文档的排序列表，其中列表中的图像被标记为查询语义相关或者语义不相关，因此每个文本检索图像的训练样本被表示为三元组其中N为训练样本个数，t_i为检索文本，p_i为图像集合，是图像集合上的排序，y表示整个排序空间；

4)对图像检索文本方向而言，对每一个查询文档(图像)，构建一个候选文本文档的排序列表，其中列表中的文本文档被标记为查询语义相关或者语义不相关，每个图像检索文本的训练样本被表示为三元组M为训练样本个数，p_j为检索图像，t_j是文本文档集合，是文本文档集合上的排序。

所述的步骤2)包括：

1)使用深度结构语义网络对文本进行建模，对每个文本，深度结构语义网络顶层输出一个k维的向量；

2)使用深度卷积网络对图像进行建模，对每个图像，深度卷积网络顶层输出一个k维的向量；

3)对候选文档所对应的深度神经网络，在原顶层之后添加仅有一个节点的排序分数层作为新的顶层，其中连接排序分数层和原顶层的权重参数被设置为查询文档对应深度神经网络所输出的k维向量；

4)构建一个目标函数,使得神经网络输出的候选文档集合的排序和训练集合中的排序一致，对第i个训练样本定义的损失函数为：

其中，n⁽ⁱ⁾是第i个训练样本中候选文档的个数，分别是训练集中的排序分数列表、深度神经网络输出的排序分数列表，以及

5)输入排序样本作为优化问题的训练样本，根据损失函数对深度神经网络进行反向回馈以得到深度神经网络的各层的参数，根据学习得到的深度神经网络的参数，提取图像文档和文本文档在语义空间中的k维表达。

本发明与背景技术相比，具有的有益的效果是：