[发明专利]一种基于继承映射的跨模态迁移哈希检索方法

权利要求书

1.一种基于继承映射的跨模态迁移哈希检索方法，用于图片与文本之间的相互检索，其特征在于，包括以下步骤：

步骤1：给定数据集n代表训练样本对的总数，表示图片特征，表示文本特征，y_i∈R^c表示语义标记向量，其中d₁表示图片特征维度，d₂表示文本特征维度，c表示数据集类的总数，则为图像特征矩阵、表示文本特征矩阵，Y∈R^c×n表示标记矩阵；

步骤2：构建锚图模型来保持数据模态内的结构近邻关系，具体方法为：将任一模态训练样本当作图模型中的节点，构建节点与锚点之间的权重关系为：

其中，m为模态索引，即m＝(1,2)分别对应图像和文本，σ是带宽参数,r_mj表示锚点且j∈(1,c)，根据锚图计算理论，其拉普拉斯矩阵为且其中I为单位矩阵，1为全1向量，因此局部锚图可以被表示为：

其中为继承映射矩阵，且k为哈希码长度；

步骤3：基于继承映射的跨模态迁移学习，即：

其中，和为继承映射矩阵，||·||_F表示F范数；

同时，为了继承原始特征的潜在信息，映射矩阵U₁、U₂同样用于原始特征空间到哈希空间的映射，即：

B∈{-1,1}^k×n表示统一的哈希码矩阵；

步骤4：结合所述步骤2和步骤3构建学习统一哈希码的目标函数；

步骤5：求解所述目标函数，得到统一哈希码及继承映射矩阵。

2.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法，其特征在于，计算虚拟类中心作为步骤2中的锚点，r_mj＝[r_mj(1),r_mj(2),...,r_mj(d_m)]且

其中，X_mj(dk)表示第m模态中第j类的所有样本，K_j表示第j类样本的个数,d表示样本特征的第d个维度。

3.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法，其特征在于，步骤4中所述的目标函数为：

s.t.B∈{-1,1}^k×n

其中，第五项是正则化项，λ_m和γ表示超参数且都大于0。

4.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法，其特征在于，所述目标函数求解方法为：

1)首先将目标函数等价改写为：

s.t.B∈{-1,1}^k×n

2)更新Q，U₁，U₂：通过固定其中三个变量，对其余一个变量求偏导并令其等于0可得：

Q＝(YY^T+γI)^-1YB^T

3)更新B：固定其它变量，目标函数可化简为：

且上式可重写为：

s.t.B∈{-1,1}^k×n

既然||B||²是个常数，因此上式可被化简为：

其中

因此统一的哈希码矩阵为：

其中sgn(·)为符号函数。

5.如权利要求1所述的一种基于继承映射的跨模态迁移哈希检索方法，其特征在于，对于新的样本可以通过学习到的继承映射矩阵直接将原始特征编码成哈希码，编码方法定义为：