[发明专利]一种细粒度图像分类的方法及系统

说明书

本发明公开了一种细粒度图像分类的方法及系统，所述方法包括如下步骤：步骤S1，对输入图片进行特征提取，获得特征图。步骤S2，统计数据集中类别标签和属性的关联性来构建知识图谱；步骤S3，利用GGNN网络对所构建的知识图谱进行特征表达，迭代地更新知识图谱得到知识图谱的特征表示；步骤S4，将步骤S1提取到的特征图与步骤S3通过GGNN网络得到的高级知识进行融合，通过高级知识和特征图结合来引导网络分类，本发明通过知识引导和嵌入来进行细粒度分类，使网络关注到图片中更具有判别性的区域，学习到更强的分类特征，从而提高网络分类准确率。

技术领域

本发明涉及CNN图像分类、计算机视觉等技术领域，特别是涉及一种基于知识嵌入的特征学习网络来处理细粒度图像分类的细粒度图像分类的方法及系统。

背景技术

图像分类这一任务在日常生活中经常发生。其是根据图像的语义信息将不同类别图像区分开来，是计算机视觉中重要的基本问题，也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。

深度学习模型中的卷积神经网络近年来在图像领域取得了非常好的成绩。因为其将图像像素信息直接作为输入，极大程度上保留了输入图像的所有信息，通过卷积的操作来提取特征和进行高层抽象，输出的直接是图像识别的结果。这种基于“输入－输出”的直接端到端的学习方法便于网络进行训练，也提高了分类准确率。

图像分类技术包括通用图像分类和细粒度图像分类等。通用图像分类效果主要是能够识别图像中的主要物体。而细粒度图像分类是子类别图像分类。相对于通用图像分类针对粗粒度的分类，细粒度分类是更加细致的子类划分，难度更大，差异更微小，提取特征要求更细致。

常规的细粒度分类方法仅仅通过卷积神经网络来提取特征，忽略了一些知识的引导，这种方式或者依赖于局部模型，或者需要引入视觉注意力网络来提取细微的差别用于区别不同种类。然而，上述常规的方法存在如下缺点：局部依赖模型需要大量的注释，这种需求使其受限于大型数据集；引入视觉注意力网络如果缺少监督信息则只能粗略的定位需要被区分的位置。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种细粒度图像分类的方法及系统，通过知识引导和嵌入来进行细粒度分类，使网络关注到图片中更具有判别性的区域，学习到更强的分类特征，从而提高网络分类准确率。

为达上述及其它目的，本发明提出一种细粒度图像分类的方法，包括如下步骤：

步骤S1，对输入图片进行特征提取，获得特征图。

步骤S2，，统计数据集中类别标签和属性的关联性来构建知识图谱；

步骤S3，利用GGNN网络对所构建的知识图谱进行特征表达，迭代地更新知识图谱得到知识图谱的特征表示；

步骤S4，将步骤S1提取到的特征图与步骤S3通过GGNN网络得到的高级知识进行融合，通过高级知识和特征图结合来引导网络分类。

优选地，于步骤S1中，利用深度卷积神经网络对输入的图片进行特征提取，并将提取的特征再输入到双线性模型中得到特征图谱。

优选地，于步骤S2中，将数据集中同类物体中对应属性的特征值相加，并进行归一化，得到一个C×A维度的矩阵S，根据矩阵S构建邻接矩阵，进而利用所述邻接矩阵构建所述知识图谱。

优选地，所述GGNN网络结构通过迭代更新节点特征来学习任意图结构数据的特征，然后构成一个知识图谱，包括类别标签和属性的节点，以及节点间的相关性。

优选地，步骤S3进一步包括：

步骤S300，对给定图像进行分类；

步骤S301，定义GGNN网络结构，并用分类结果初始化类别节点特征和初始化属性节点特征，再将其输入GGNN网络，并迭代地更新每个节点的信息。