[发明专利]基于二值语义嵌入的图像检索和识别方法和装置

说明书

本发明是关于一种基于二值语义嵌入的图像检索和识别方法和装置，方法包括：确定目标函数，利用训练集中样本图像的标签信息、成对相似度矩阵和原始视觉信息，学习从原始图像空间到二值语义空间的映射，得到深度神经网络检索模型和样本图像对应的二值码库；利用深度神经网络检索模型将待检索图像映射到二值语义空间中，以得到待检索图像对应的第一二值码；计算待检索图像对应的第一二值码与二值码库中的每个第二二值码之间的海明距离，并进行升序排列；根据海明距离的排列结果确定近似最近邻检索结果；采用多数投票的方式，依据近似最近邻检索结果中的图像类别识别待检索图像的类别。通过该技术方案，可以充分嵌入图形知识，提高节点分类的准确性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于二值语义嵌入的图像检索和识别方法和装置。

背景技术

随着社会的进步和科技的飞速发展，城市拥挤状况日益严重，由此带来的交通事故频发的问题也逐渐成为威胁人们生命安全的重要问题。于是，智能交通系统应运而生，这是一种集检测、通讯、控制和计算机技术于一体的综合系统、其核心技术涉及图像处理、数字信号处理、模式识别、人工智能、信息技术、电子技术、通信技术和系统工程技术等。一般来说，智能交通系统主要研究以下几个方面：(1)碰撞识别；(2)道路识别；(3)交通标志识别。近年来，许多研究聚焦于前两者，对于交通标志识别的研究相对较少。事实上，交通标志是道路基础设施的重要组成部分，可以为道路驾驶提供重要的指示信息，同时帮助车辆驾驶人员调整和规范驾驶行为。同时，自动驾驶车辆也需要根据识别和理解交通标志，以确保合乎交通法规。

近年来，深度神经网络因其强大的特征提取和表达能力收到越来越多的关注，海量数据的出现为神经网络参数的训练提供了可能。从特征工程的角度来讲，普遍认为神经网络不同于传统的特征提取方法，它是一个黑盒模型。将大量的训练样本送入神经网络中，通过设计一个合理的目标函数，可以得到对于任务有利的特征表示。然而，巨大的数据量也会带来高检索成本，时间复杂度和空间复杂度太高成为亟待解决的问题。

发明内容

为克服相关技术中存在的问题，本发明提供一种基于二值语义嵌入的图像检索和识别方法和装置，从而实现减少计算复杂度的同时提高图像检索精度和识别的准确性。

根据本发明实施例的第一方面，提供一种基于二值语义嵌入的图像检索和识别方法，所述方法包括：

确定目标函数，并利用训练集中样本图像的标签信息、成对相似度矩阵和原始视觉信息，学习从原始图像空间到二值语义空间的映射，得到深度神经网络检索模型和样本图像对应的二值码库；

利用所述深度神经网络检索模型将待检索图像映射到二值语义空间中，以得到所述待检索图像对应的第一二值码；

计算所述待检索图像对应的第一二值码与所述二值码库中的每个第二二值码之间的海明距离，并按照海明距离进行升序排列；

根据海明距离的排列结果确定近似最近邻检索结果；

采用多数投票的方式，依据所述近似最近邻检索结果中的图像类别识别所述待检索图像的类别。

在一个实施例中，优选地，所述目标函数包括：

其中，Y表示样本图像的标签矩阵，B表示二值码矩阵，W表示线性映射矩阵，S表示成对相似度矩阵，该矩阵表示训练集中样本图像的相似关系，若两个样本i，j标签相同，则S_ij＝1，否则，S_ij＝0，L表示二值码的长度，α，β，γ表示超参数，V表示训练集图像,θ表示所述深度神经网络检索模型的参数，F(V；Θ)|表示深度神经网络检索模型的输出，N表示所述训练集中的样本数目，I表示单位矩阵。

在一个实施例中，优选地，α＝1，β＝1e-4，γ＝1e-3。