[发明专利]一种基于部件感知的弱监督物体定位装置及方法

说明书

本公开提供一种基于部件感知的弱监督物体定位装置，包括：特征提取模块，用于对输入图像进行特征提取形成特征图；多个部件感知模块，每一个部件感知模块用于捕捉所述特征图的目标的一个部件得到其注意力图，从而获得多个部件的注意力图；部件多样性建模模块，用于根据所述特征图与所述多个部件的注意力图，将其结合转化为多个部件特征；部件重要性建模模块，用于根据所述多个部件特征得到中各部件特征的重要性权重；以及目标定位模块，用于根据所述多个部件的注意力图与所述各部件特征的重要性权重，得到和原图大小一致的激活图，能够对所述激活图设置设定阈值，找到能够覆盖响应区域的最大邻接矩形完成最终定位。

技术领域

本公开涉及人工智能领域技术领域，尤其涉及一种基于部件感知的弱监督物体定位装置及方法。

背景技术

针对一幅图像中仅有单个目标的情况，目标定位不仅要识别出图像中目标的类别，还要给出目标在图像中的位置信息。传统的目标定位需要大量的人工标注的边界框作为监督信息，然而这种监督信息的获取十分耗时耗力，限制了目标定位的应用范围。

为了减少标注负担，弱监督目标定位方法(WSOL)应运而生，这类方法仅仅使用图像级别的标注就可以完成识别和定位任务。它们大多基于人工智能技术，并且很多方法的精度可以与全监督目标定位相媲美。然而，为了达到较高的分类精度，目前的弱监督定位方法倾向于仅关注目标最具有判别力的部分，这对于定位任务来说是不利的。本专利提出一种通过捕捉目标多个部件并且自适应的组合多个部件实现目标的分类和定位的弱监督目标定位方法。本方法能够端到端的训练，自动捕捉目标多个部件并进行组合，从而实现目标的完整性定位。

发明内容

(一)要解决的技术问题

基于上述问题，本公开提供了一种基于部件感知的弱监督物体定位装置及方法，以缓解现有技术中训练仅使用图像级标签的情况下，应用时计算机可根据输入图像自动进行分类及定位等技术问题。

(二)技术方案

本公开提供了一种基于部件感知的弱监督物体定位装置，包括：

特征提取模块，用于对输入图像进行特征提取形成特征图；

多个部件感知模块，每一个部件感知模块用于捕捉所述特征图的目标的一个部件得到其注意力图，从而获得多个部件的注意力图；

部件多样性建模模块，用于根据所述特征图与所述多个部件的注意力图，将其结合转化为多个部件特征；

部件重要性建模模块，用于根据所述多个部件特征得到各部件特征的重要性权重；以及

目标定位模块，用于根据所述多个部件的注意力图与所述各部件特征的重要性权重，得到和原图大小一致的激活图，能够对所述激活图设置设定阈值，找到能够覆盖响应区域的最大邻接矩形完成最终定位。

在本公开实施例中，所述的弱监督物体定位装置，还包括部件紧凑性建模模块，用于根据所述多个部件的注意力图与所述特征图，能够使多个部件特征更为紧凑。

在本公开实施例中，所述部件紧凑性建模模块还能够选取所述多个部件的注意力图的各个注意力图的像素点最大值，并为其分配一个伪标签。

在本公开实施例中，所述各个注意力图的像素点的响应值均低于0.2的像素点被视为背景点，不分配伪标签。

在本公开实施例中，所述部件重要性建模模块，包括：

权重预测模块，能够根据所述多个部件特征得到相应的多个分支重要性；以及

分类模块，能够将所述多个部件特征进行分类。

在本公开实施例中，所述特征提取模块使用两种骨干网络进行特征提取，分别是改进后的VGG16以及ResNet50。