[发明专利]一种基于知识注意力的细粒度图像分类方法

权利要求书

1.一种基于知识注意力的细粒度图像分类方法，其特征在于，包括特征过滤网络、知识引导模块和知识决策模块；

特征过滤网络用于将输入的原始图片信息经过深度卷积神经网络模型得到若干特征图，将各个特征图在各自像素点位置进行纵向最大值操作，得到一张包含每个最大像素值的特征图，即注意力特征图，用以表示当前图像重要点的集合，对当前注意力特征图进行过滤操作得到注意力信息区域，对原始图片进行卷积池化操作得到物体主体区域，对注意力信息区域和物体主体区域进行位置比较得到注意力特征图信息，包括位置及颜色信息；

知识引导模块通过特征过滤网络得到的位置及颜色两种信息并从开源知识库中找到经过嵌入训练过的对应实体嵌入向量，通过上述实体嵌入向量及经过特征过滤网络卷积得到的视觉特征学习转换权重W，以此进行知识引导；

知识决策模块用于对知识库三元组信息进行类之间的相似度计算，通过计算类与类之间的属性相似性阈值作为判别类的依据；通过最大最小距离算法，选取同父类下最小的相似性和非同类的最大相似性作为阈值；得到相近的K个类别信息，并排名；对N*K维向量取平均，得到N维向量作为分类概率偏移量；将分类概率偏移量与softmax输出结果叠加完成对图像的分类。

2.根据权利要求1所述一种基于知识注意力的细粒度图像分类方法，其特征在于，每一个三元组信息包括h，r，t即实体和关系。

3.根据权利要求1所述一种基于知识注意力的细粒度图像分类方法，其特征在于，所述开源知识库为DBpedia或FreeBase。