[发明专利]基于跨媒体分析的科技数据检索技术

说明书

本发明在该方法在子空间学习的基础上，如图1(见说明书附图)所示。在子空间学习的基础上，提出一种跨媒体正则化框架，以增强图像理解，有利于图像的检索，分类等。跨媒体正规化的目标是通过利用视觉特征和文本特征之间的相关性来找到正则化预测，即利用相应文本特征的辨别性分布来改变视觉特征的原始噪声分布。在提出的跨媒体正则化框架内，通过将视觉特征和文本特征联合投影到共享特征子空间中来构建中级表示，从而使文本模态中的辨别语义特征转移到相应的视觉模态中，与此同时可以提升视觉特征的辨别特性。实验结果表明，提出的中级空间学习过程可以显著的提高搜索质量，优于现有的大多数语义正则化方法。

技术领域

本发明涉及计算机多媒体技术领域，特别涉及一种用于跨媒体检索的方法。

背景技术

随着新媒体技术的飞速发展，媒体广泛存在于互联网、广播电视以及视频监控等各个领域。跨媒体既表现为包括文本、语音、图像以及视频等混合介质形态，又表现为跨越不同媒介的传播和表达方式，还表现为覆盖网络空间和物理空间的媒体融合的复杂关联关系。如何从形态多样、分布广泛、关系复杂的海量跨媒体资源中快速获取和准确表达有价值的知识，已成为亟待解决的问题。

网络数据除了呈现海量性特点之外，数据之间的关联性也在不断增强。这种关联性也成为网络信息除了自身内容之外的另外一个重要来源。在文本搜索领域，互联网搜索引擎公司谷歌(Google)利用的PageRank技术，通过分析和利用网页内容之间的超链接信息对网页的重要性进行计算，为海量网络内容检索带来了革命性的突破。与文本相比，网络多媒体数据之间的关联性较之一般的文本网页更加丰富。例如，网络图像和视频一般与大量的环绕文字共同出现，这些环绕文字提供了对视觉内容的描述性信息。由于交互式网络技术的兴旺发展，网络用户可对跨媒体进行编辑和标注，对视觉内容提供标注信息，可以自由转载、分享和评论跨媒体内容。如何有效地分析利用这类信息，成为多媒体信息检索领域研究的核心问题。

发明内容

本发明在该方法在子空间学习的基础上，如图1所示。在子空间学习的基础上，提出一种跨媒体正则化框架，以增强图像理解，有利于图像的检索，分类等。跨媒体正规化的目标是通过利用视觉特征和文本特征之间的相关性来找到正则化预测，即利用相应文本特征的辨别性分布来改变视觉特征的原始噪声分布。在提出的跨媒体正则化框架内，通过将视觉特征和文本特征联合投影到共享特征子空间中来构建中级表示，从而使文本模态中的辨别语义特征转移到相应的视觉模态中，与此同时可以提升视觉特征的辨别特性。实验结果表明，提出的中级空间学习过程可以显著的提高搜索质量，优于现有的大多数语义正则化方法。给定一个n个样本的多媒文档用神经网络提取图像特征V＝[v₁,v₁,.....v_n]∈R^n×p，文本特征T＝[t₁,t₁,.....t_n]∈R^n×q。

1.目标函数：本文跨媒体检索的目标是分别学习图像数据X和Y样本数据的最优投影矩阵X∈R^c×p和Y∈R^c×q。然后，将不同模态的数据投影到一个公共潜在子空间中。我们构建本文的优化模型，我们的目标是最小化以下目标函数：

f(X,Y)定义了同构子空间中成对图像和文本的相关性。最小化相关分析项可以保持多模态数据在共享子空间中的两两紧密相关性。换句话说，X和Y定义了两个转换空间，这样成对的数据V和T就可以尽可能地投影在一起。g(X,Y)是语义匹配项，用于将具有相同语义信息的多媒体数据集中在共享的潜在子空间中。h(X,Y)作为正则化项，用于控制图像映射矩阵X和文本映射矩阵Y的复杂度，有效的避免过拟合，从而具有更好的计算效率。采用r(X,Y)作为判别分析项，来增强文本特征和图像特征的判别特征。

(1)相关分析项