[发明专利]基于深度关联网络的跨模态检索方法

说明书

技术领域

本发明涉及多媒体数据检索的技术，特别是基于深度关联网络的跨模态检索方法。

背景技术

多媒体信息爆发式增长的时代，人们更倾向于多元化的检索结果，而不仅仅是单一模态的检索。例如，看到一张风景画，如果向检索系统提交这幅图片，检索系统不仅检索出类似的风景画，还能同时检索出与这幅图片有关的音频或文字等信息，这会使得检索效果会更有影响力。这种使用某一模态的数据检索其它模态数据的过程，称为跨模态的检索。

传统的跨模态检索，例如文本检索图像，往往依据的还是图像的文本标注信息与检索文本的匹配，因此其本质上还是一种单模态的检索。然而，信息的爆发式增长使得人工标注成本太高，同时图像本身含有的丰富信息也难以用有限的标签表示出来；此外，由于标注人员的认知差异往往又会导致标签质量参差不齐。所有这些方面都会在很大程度上影响到检索结果的精确性。深度学习在处理语音、文本以及图像方面的巨大成功，为人们从深度语义角度，探索新的无监督的跨模态检索带来了希望。

基于深度学习的算法可以分为两类：1)第一类方法将建模的过程分为两个阶段，第一个阶段分别将各自模态的数据进行抽象化的表示，第二个阶段将第一阶段抽象化的结果映射到一个共享的表示空间，以建立多模态数据之间的关联；但是此类方法割裂了表示学习和关联学习之间的联系，使得无法判断数据抽象到何种程度最适合跨模态的检索任务，并且其共享层既包含不同模态数据的共有信息，也包含单模态数据的特有信息，不利于跨模态检索的进行。2)第二类方法将关联学习融入到了表示学习的过程中，使其形成一个有机的整体。虽然第二类方法在实践过程中被证明更加适合跨模态检索的任务；但是现存的第二类算法仍存在检索效果不稳定，或是构成深度网络的组件种类过于单一导致检索精确度不高的问题。

发明内容

本发明针对跨模态的检索问题，提出了基于深度关联网络(Deep Correlated Networks，DCN)的跨模态检索方法，在不同模态的数据之间建立了多层次的对应关联关系，同时融合了多种神经网络，使得深度模型具有更好的表示效果，并且跨模态检索的精确度更高、稳定性更好。

实现本发明目的的技术方案是：

基于深度关联网络的跨模态检索方法，包括如下步骤：

1)利用初始特征提取方法分别获得第一模态数据的初级向量和第二模态数据的初级向量；

2)建立和训练DCN模型，分别将检索目标和检索库成员通过DCN模型获得相对应的高级表示向量；

3)利用高级表示向量对检索目标和检索库中每一个检索成员进行相似度匹配，即进行欧式距离的计算；

4)将欧氏距离的计算结果按从小到大的顺利排列，从而得到检索目标的跨模态检索的结果列表。

步骤1)中所述的初级向量包括如下步骤：

(1)设置图像模态数据为第一模态数据时，文本模态数据就是第二模态数据，反之亦然；

(2)针对不同模态的原始数据采用不同的初始特征提取方法；图像模态的数据可以通过PHOW、Gist、MPEG-7等方法进行原始特征的提取，然后进行特征的拼接形成初级向量；文本模态的数据则可以通过词袋模型的方法进行原始特征的提取，形成初级向量。

步骤2)中所述的获得相对应的高级表示向量包括如下步骤：

(1)使用训练集数据对DCN模型进行训练，得到DCN模型的各项参数，具体步骤如下：

①训练DCN模型的第一部分，即对应受限玻尔兹曼机模型(Correspondence restrict Boltzmann machine，Corr-RBM)，得到其参数集合，Corr-RBM目标函数包含三个部分，即第一模态数据的中间表示向量与第一模态数据的初级向量之间的误差和第二模态数据的中间表示向量与第二模态数据的初级向量之间的误差以及第一模态数据和第二模态数据的中间表示向量在统一的表示空间中的距离，具体表示为：min L＝L_D+αL_I+βL_T，

其中，

L_I＝-log p(v^I)，

L_T＝-log p(v^T)，