[发明专利]基于同构子空间映射和优化的跨媒体检索方法

权利要求书

1.一种基于同构子空间映射和优化的跨媒体检索方法，其特征在于包括以下步骤：

第一步、基于视听觉特征分析的同构子空间映射

从图像数据库和音频数据库中分别提取视觉特征和听觉特征，得到视觉特征矩阵A和听觉特征矩阵B；通过非线性的核函数，将视觉特征矩阵A和听觉特征矩阵B映射到高维核空间；在高维核空间中进行相关性保持映射，得到同构子空间Z；

第二步、构建跨媒体加权近邻图

分析图像样本和音频样本在同构子空间Z中的距离关系，进而构建跨媒体加权近邻图G(V,E)，进行定量分析，得到相应的权重矩阵W和拉普拉斯矩阵L；

第三步、基于目标函数最小化的同构子空间优化

对目标函数进行求解，得出优化后的同构子空间Y的值；

第四步、跨媒体距离度量和检索

当用户提交查询样本进行跨媒体检索时，根据优化后的同构子空间Y中的余弦距离，计算与查询样本最相近的图像样本和音频样本，作为跨媒体检索结果返回。

2.如权利要求1所述的基于同构子空间映射和优化的跨媒体检索方法，其特征在于，第一步所述的基于视听觉特征分析的同构子空间映射包括：

(1)从图像数据库中提取颜色直方图、颜色聚合矢量和Tamura方向度三种视觉特征，得到视觉特征矩阵A；

从音频数据库中提取质心、衰减截止频率、频谱流量和均方根四种听觉特征，采用模糊聚类的方法对听觉特征进行索引，将每个音频样本的听觉特征都统一到相同的维数，得到听觉特征矩阵B；

(2)通过非线性的核函数，将视觉特征矩阵A和听觉特征矩阵B映射到高维核空间；

(3)在高维核空间中，采用典型相关性分析方法进行相关性保持映射，计算目标函数：

max[Φ(A)^TΦ(A)Ψ(B)^TΨ(B)μ]      (1)

式(1)中μ表示组合系数，

T表示转置运算，

max表示最大值，

Φ(A)表示视觉特征矩阵A的典型相关性因子，

Ψ(B)表示听觉特征矩阵B的典型相关性因子，

(4)通过拉格朗日乘子法求解式(1)中的目标函数，计算Φ(A)和Ψ(B)的值；

(5)通过矩阵变换Φ(A)^TA和Ψ(B)^TB，对视觉特征矩阵A和听觉特征矩阵B进行降维，将所有图像样本和音频样本映射到同构子空间Z。