[发明专利]基于语义约束矩阵分解哈希的跨模态检索方法及其系统

权利要求书

1.基于语义约束矩阵分解哈希的跨模态检索方法，其特征在于包括：输入不同模态的原始特征矩阵，根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵，再利用语义相似矩阵约束两个模态潜在语义矩阵，以及根据潜在语义矩阵和正交旋转矩阵生成哈希码，最后利用潜在语音矩阵从所述哈希码中获取类标签。

2.根据权利要求1所述的基于语义约束矩阵分解哈希的跨模态检索方法，其特征在于：所述个体矩阵分解模型为：

其中，i＝1,2，为映射矩阵，为潜在语义表示矩阵，Xⁱ为不同模态的原始特征矩阵，α_i和μ是正则化参数。

3.根据权利要求1所述的基于语义约束矩阵分解哈希的跨模态检索方法，其特征在于：所述利用语义相似矩阵约束两个模态潜在语义矩阵具体采用如下步骤实现：

(1)图像模态和文本模态之间的标签一致性建模，然后给不同模态定义两个数据和的语义相似度量，通过语义相似度量建立语义相似矩阵A；

所述语义相似度量为：

其中，a_ij为语义相似矩阵A内的值，和为不同模态的原始特征矩阵内的值；

(2)对不同模态之间的联系进行建模，使用语义相似矩阵A来约束不同模态的特定于模态的表示形式；

其中，为语义相似矩阵，β是正则化参数，V₁和V₂为不同模态的潜在语义矩阵。

4.根据权利要求1所述的基于语义约束矩阵分解哈希的跨模态检索方法，其特征在于：根据潜在语义矩阵和正交旋转矩阵生成哈希码是指采用如下步骤：

(1)通过哈希码函数模型将图像和文本原始特征映射到潜在语义矩阵，所述哈希码函数模型为：

其中，是图像和文本模态的哈希函数，γ是正则化参数，V_i为潜在语义表示矩阵，Xⁱ为不同模态的原始特征矩阵；

(2)从潜在语义表示引入正交旋转矩阵R来生成哈希码，所述哈希码矩阵为：

其中，为正交旋转矩阵，V_i为潜在语义表示矩阵，B为哈希码矩阵。

5.根据权利要求1所述的基于语义约束矩阵分解哈希的跨模态检索方法，其特征在于：利用潜在语音矩阵从所述哈希码B中获取类标签Y，即将B映射到类标签Y中，具体模型如下；

其中为映射矩阵，B为哈希码矩阵，B_ij＝1表示第j个数据点包含第i个数据点的语义，否则B_ij＝-1，Y为类标签，μ和η是正则化参数。

6.根据权利要求1所述的基于语义约束矩阵分解哈希的跨模态检索方法生成检索模型，其特征在于：所述检索模型为：

其中，为映射矩阵，为潜在语义表示矩阵，B为哈希码矩阵，为语义相似矩阵，Xⁱ为不同模态的原始特征矩阵，是图像和文本模态的哈希函数，为映射矩阵，α_i、μ、η是正则化参数，Y为类标签。

7.基于语义约束矩阵分解哈希的跨模态检索系统，其特征在于：包括个体矩阵分解模块、标签约束模块、学习哈希函数模块、标签保存模块和学习哈希码模块；

所述个体矩阵分解模块用于分解图片和文本模态得到潜在语义矩阵；

所述标签约束模块用于利用语义相似矩阵拘束所述潜在语义矩阵，加强不同模态潜在语义矩阵之间的一致性；

所述学习哈希函数模块用于图片和文本模态的原始特征矩阵线性投影至所述潜在语义矩阵中生成所述哈希码矩阵；

所述标签保存模块用于从哈希码矩阵获取不同模态的类标签。