[发明专利]基于二值语义嵌入的图像检索和识别方法和装置

权利要求书

1.一种基于二值语义嵌入的图像检索和识别方法，其特征在于，所述方法包括：

确定目标函数，并利用训练集中样本图像的标签信息、成对相似度矩阵和原始视觉信息，学习从原始图像空间到二值语义空间的映射，得到深度神经网络检索模型和样本图像对应的二值码库；

利用所述深度神经网络检索模型将待检索图像映射到二值语义空间中，以得到所述待检索图像对应的第一二值码；

计算所述待检索图像对应的第一二值码与所述二值码库中的每个第二二值码之间的海明距离，并按照海明距离进行升序排列；

根据海明距离的排列结果确定近似最近邻检索结果；

采用多数投票的方式，依据所述近似最近邻检索结果中的图像类别识别所述待检索图像的类别；

所述目标函数包括：

s.t.diag(W^TW)＝1，B∈{-1，+l}^L×N，B1＝0，BB^T＝I_N，

其中，Y表示样本图像的标签矩阵，B表示二值码矩阵，W表示线性映射矩阵，S表示成对相似度矩阵，该矩阵表示训练集中样本图像的相似关系，若两个样本i，j标签相同，则S_ij＝1，否则，S_ij＝0，L表示二值码的长度，α，β，γ表示超参数，V表示训练集图像,θ表示所述深度神经网络检索模型的参数，F(V；Θ)|表示深度神经网络检索模型的输出，N表示所述训练集中的样本数目，I表示单位矩阵；α＝1，β＝1e-4,γ＝1e-3。

2.根据权利要求1所述的方法，其特征在于，利用训练集中样本图像的标签信息、成对相似度矩阵和原始视觉信息，学习从原始图像空间到二值语义空间的映射，得到深度神经网络检索模型和样本图像对应的二值码库，包括：

采用迭代的方式，分别优化W，B和θ；

在优化W时，固定B和θ，由于W满足正交约束，采用奇异值分解的方法，将所述目标函数简化为：

在优化B时，采用DPLM算法进行优化；

在优化θ时，将||B-F(V；Θ)||²作为所述深度神经网络检索模型的损失，并通过反向传播算法进行优化。

3.根据权利要求1所述的方法，其特征在于，利用所述深度神经网络检索模型将待检索图像映射到二值语义空间中，以得到所述待检索图像对应的第一二值码，包括：

将所述待检索图像输入所述深度神经网络检索模型中，前向传播后得到所述待检索图像对应的第一二值码，如下式所示：

B＝sign(F(V；Θ))

其中，V表示所述待检索图像，sign表示量化函数，目的是将深度神经网络检索模型输出的实数值量化为离散的二值码。

4.根据权利要求1所述的方法，其特征在于，计算所述待检索图像对应的第一二值码与所述二值码库中的每个第二二值码之间的海明距离，包括：

将所述待检索图像对应的第一二值码与所述二值码库中的每个第二二值码通过异或运算，计算海明距离；

根据海明距离的排列结果确定近似最近邻检索结果，包括：

将海明距离排列在前的预设数量的检索结果确定为近似最近邻检索结果。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述样本图像和所述待检索图像包括交通标志图像。