[发明专利]一种基于受控语义嵌入的跨模态哈希检索方法

权利要求书

1.一种基于受控语义嵌入的跨模态哈希检索方法，其特征在于，至少包括：

S1.确定待跨模态哈希检索的带标签的多模态数据库，多模态数据库包括K种模态，表示为1，…，k，…，K，其中，k表示第k种模态的种类序次；

S2.训练一个标签网络表示标签网络的网络参数；

步骤S2所述训练的标签网络的目标函数为表达式为：

其中，N表示数据库中所有出现过的标签总数，l_i、l_j均表示标签，当标签l_i和标签l_j至少有一个类别相同时，S_ij＝1，否则，S_ij＝0；p(S_ij|f_i,f_j)表示似然函数，表达式为：

其中，是sigmoid函数；表示语义向量f_i与语义向量f_j的内积；采用小批量随机梯度下降法训练，最小化更新标签网络的网络参数直至收敛；

S3.令k＝1；

S4.训练第k种模态的受控语义嵌入网络；

步骤S4所述训练的第k种模态的受控语义嵌入网络包括：

第k种模态的鉴别器第k种模态的鉴别器的网络参数为给定第k种模态的样本v^k后，输出语义向量f；

第k种模态的编码器第k种模态的编码器的网络参数为给定第k种模态的样本v^k后，输出隐变量z；

第k种模态的解码器第k种模态的解码器的网络参数为给定隐变量z和语义向量f后，输出第k种模态的样本v^k；

其中，第k种模态的编码器和第k种模态的解码器组成第k种模态的条件变分自编码生成网络；

训练第k种模态的受控语义嵌入网络的步骤包括：

S41.确定第k种模态的鉴别器的目标函数表达式：

其中，p(v^k,f)表示随机采样第k种模态的样本v^k和样本匹配的标签l^k经过标签网络输出的语义向量f；p(z)表示从标准正态分布中随机采样隐变量z；p(f)表示随机采样标签网络输出的语义向量f；λ_u为第一预置可调参数；表示目标函数优化的目标是网络参数符号表示数学期望；

S42.确定第k种模态的编码器和第k种模态的解码器的目标函数表达式为：

其中，λ_c为第二预置可调参数；λ_reg为第三预置可调参数；λ_z为第四预置可调参数，需要根据具体情况做出调整；表示第k种模态的编码器的输出与标准正态分布p(z)之间的KL散度；

S43.采用小批量随机梯度下降法不断交替更新步骤S41和步骤S42，最小化和更新第k种模态的受控语义嵌入网络的网络参数直至和收敛；

S5.判断k是否小于K，若是，令k的值增加1，返回执行步骤S4；否则，执行步骤S6；

S6.根据多模态数据库所有样本对应的标签，通过标签网络映射成语义向量f，再通过量化方法成二进制编码B；

步骤S6所述的量化方法的目标函数表示为表达式为：

s.t.||B_mi||₀＝1,B_mi∈{0,1}^D,i＝{1,...,N},m＝{1,...,M}.

其中，s.t.表示约束条件；

C＝[C₁,...,C_D],C_m＝[C_m1,...,C_mD],表示字典矩阵；

B＝[B₁,...,B_M],B_i＝[B_1i,...,B_Mi],||B_mi||₀＝1,B_mi∈{0,1}^D,表示二进制编码；M和D同时决定了字典的大小和二进制编码的长度，||B_mi||₀＝1表示约束向量B_mi的0范数等于1，B_mi∈{0,1}^D表示约束向量B_mi为二进制；

S7.执行查询阶段，跨模态哈希检索多模态数据库：对于不带标签的查询样本，确认查询样本所属的模态种类通过第种模态的受控语义嵌入网络映射成语义向量f，采用非对称量化距离作为相似性度量，计算查询样本的语义向量f和数据库所有样本的二进制编码B的非对称量化距离，按照从大到小排序返回检索结果。