[发明专利]一种基于统一稀疏表示的跨媒体检索方法

权利要求书

1.一种基于统一稀疏表示的跨媒体检索方法，包括以下步骤：

(1)建立包含多种媒体类型的跨媒体数据库，并将所述数据库分为训练集和测试集，提取每种媒体类型数据的特征向量；

(2)通过训练集的多媒体数据，为每种媒体类型学习跨媒体统一稀疏表示的特征映射矩阵；

(3)根据特征映射矩阵，将测试集中的每种媒体类型映射到统一的空间中，得到跨媒体数据的统一稀疏表示；

(4)基于统一稀疏表示，计算任意媒体数据之间的跨媒体相似性；

(5)将测试集中的每个数据作为查询样例，以整个测试集作为查询目标集进行查询；计算查询样例和查询目标集中媒体数据之间的跨媒体相似性，进而根据相似性得到跨媒体统一检索结果，检索结果包含相关的所有媒体类型数据。

2.如权利要求1所述的方法，其特征在于，所述多种媒体类型为五种媒体类型，包括文本、图像、视频、音频和3D数据。

3.如权利要求2所述的方法，其特征在于，对于文本数据，提取其隐狄雷克雷分布特征向量；对于图像数据，提取其词袋特征向量；对于视频数据，提取其词袋特征向量；对于音频数据，提取其梅尔频率倒谱系数特征向量；对于3D数据，提取其光场特征向量。

4.如权利要求1所述的方法，其特征在于，所述步骤(2)中跨媒体统一稀疏表示学习算法考虑了所有不同媒体类型数据之间的关联关系，同时也考虑了跨媒体数据在映射后的空间中的稀疏性，并保持映射后的统一特征空间样本分布和映射之前的特征空间样本分布接近。

5.如权利要求4所述的方法，其特征在于，步骤(2)所述为每种媒体类型学习跨媒体统一稀疏表示的特征映射矩阵，其建立的目标函数为：

minP(i),...,P(s)Σi=1sΣj=i+1s||P(i)TXmij(i)-P(j)TXmij(j)||F2+Σi=1s(||P(i)TX(i)-Y(i)||F2+λ(Ω(P(i))+||P(i)||2,1)),]]>

其中P⁽¹⁾,...,P^(s)为跨媒体数据库中所有s种媒体类型的映射矩阵，上标(i)表示第i种媒体类型的映射矩阵，矩阵的维度为d⁽ⁱ⁾×c，可以将原始的特征向量从d⁽ⁱ⁾维的空间映射到一个统一的c维的统一空间中；和表示一一对应的两个矩阵，这两个矩阵中的一一对应样本表示来自不同媒体类型，而具有同样类别标签的元素；||Z||_F表示矩阵Z的Frobenius范数，其定义为：||Z||_2,1表示矩阵Z的l_2,1范数，其定义为：最小化||Z||_2,1能够使得矩阵Z稀疏。