[发明专利]一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法

说明书

本发明公开了一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法，属于细粒度图像检索领域，本发明包括以下步骤：基于局部特征的节点表示、局部特征加强、基于图卷积的相关部件关系挖掘、语义哈希编码、损失函数，提出一种基于图神经网络和深度哈希方法，适用于大规模鸟类图像检索的综合方法，能够高效率、低存储、高精度的实现精细粒度鸟类图像检索。

技术领域

本发明属于细粒度图像检索领域，尤其涉及一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法。

背景技术

现阶段对于自然保护区以及国家湿地区域，鸟类的监测可以作为其生物多样性和生态环境评价的重要指标；对于农田以及机场区域，鸟类的监测影响着农户经济收入和机场的正常运转。自然界中，鸟的种类丰富，因此，如何从大规模的数据集中，快速、准确的检索到正确的鸟类，是鸟类专家所希望的。由于鸟类图像的检索与通用图像检索不同，其数据库图像和查询图像之间具有两个特点：(1)类间差异小:鸟类之间的差异小，其差异往往在细微之处。例如，鸟头或者尾部。(2)类内差异大，由于光照，姿态等因素，同种鸟类不同图像差异较大。目前，鸟类的检索常常由专家通过人工鉴别，往往开销高昂，并且容易出错。因此，面对大规模的鸟类数据集，如果能用计算机视觉的技术，实现低成本、低存储、高效率的细粒度鸟类识别技术，对于工业界以及农业界都有着重要的意义。

近年来，在计算机视觉领域，细粒度图像检索已有先例。在早期，Xie等人基于手工特征计算图像之间的相似度。在进行检索时，先判断图像隶属的大类，再进行细粒度级别的搜索。随着卷积神经网络的发展，基于深度学习的细粒度检索方法被提出。这些深度方法大致可以分为监督方法和非监督方法。对于非监督检索方法，SCDA等人提出了选择性卷积描述符聚合方法，本方法首先定位细粒度图像中的对象，并保留有用的深层描述符用于细粒度图像检索。然而，本方法使用预训练模型作为固定的特征提取器，没有订制网络学习相应的细粒度特征，对于提取的卷积描述符没有考虑到他们所对应的细粒度部件之间的结构关系，因而检索精度一般。

在监督方法中，细粒度图像检索被定义为深度度量学习问题。Zheng等人提出了CRL-WSL方法，它是个统一的框架，用于有效学习区分特征，并使用学习显著区域对目标轮廓进行集中排序损失和分割。Zheng等人又提出了DCL-NC犯法，基于CRL-WSL方法做了改进，增加了归一化尺度层和去相关排序损失，实现了较高的检索精度。然而，这两种方法编码维度为1024维，其编码维度较高，在实际的大规模的图像检索中，可能会遇到查询速度慢和存储冗余的问题。由此，使用低存储的码位实现高效率、高精度的细粒度图像检索是目前关注的主要问题。

发明内容

本发明提供了一种基于深度哈希和图神经网络的细粒度鸟类图像检索方法，能够高效率、低存储、高精度的实现精细粒度鸟类图像检索。

为实现上述技术目的，本发明的技术方案为：

一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法，包括以下步骤：

步骤1、将图像送入到骨干网络Resnet50得到其特征F∈R^H×W×N，其中H，W和N分别表示特征的高，宽和通道数；将得到的特征图转化为注意力图，再通过不同局部区域的注意力图提取出具有判别性的局部特征；

步骤2、针对步骤1中生成的的注意力图生成注意力丢弃后的图像；

步骤3、通过步骤2中提取的部件特征构建图来挖掘部件之间的关系，并得到融合特征；

步骤4、通过步骤3中得到的融合特征，经过哈希层得到哈希编码；

步骤5、对于上述步骤中的特征提取和哈希编码，构建损失函数，使网络逐步收敛。

以上所述步骤中，步骤1中采用卷积函数f()将特征图转化为注意力图，注意力图的计算方法如公式(1)所示：