[发明专利]一种基于部件感知的弱监督物体定位装置及方法

权利要求书

1.一种基于部件感知的弱监督物体定位装置，包括：

特征提取模块，用于对输入图像进行特征提取形成特征图；

多个部件感知模块，每一个部件感知模块用于捕捉所述特征图的目标的一个部件得到其注意力图，从而获得多个部件的注意力图；

部件多样性建模模块，用于根据所述特征图与所述多个部件的注意力图，将其结合转化为多个部件特征；

部件重要性建模模块，用于根据所述多个部件特征得到各部件特征的重要性权重；

目标定位模块，用于根据所述多个部件的注意力图与所述各部件特征的重要性权重，得到和原图大小一致的激活图，能够对所述激活图设置设定阈值，找到能够覆盖响应区域的最大邻接矩形完成最终定位；以及

部件紧凑性建模模块，用于根据多个部件的注意力图与特征图，使多个部件特征更为紧凑；

所述部件紧凑性建模模块还能够选取所述多个部件的注意力图的各个注意力图的像素点最大值，并为其分配一个伪标签；

使用f_m代表第m个具有标签k的像素点正样本的特征，使用f_n代表第n个具有其他标签的像素点负样本的特征，首先计算每个部件特征与正、负样本之间的距离分别为d₊(k，m)与d_-(k，n)有：

通过对样本挖掘寻找具有最大距离的正样本对g₊(k)和具有最小距离的负样本对g_-(k)为：

g₊(k)＝maxd₊(k，m)；

g_-(k)＝mind_-(k，n)；

使用三元组损失l_tri减小最难正样本对的距离，增加最难负样本对的距离从而使得部件特征更为紧凑：

这里，margin代表正负样本对的间距，[b]₊＝max(b，0)。

2.根据权利要求1所述的弱监督物体定位装置，其中，所述各个注意力图的像素点的响应值均低于0.2的像素点被视为背景点，不分配伪标签。

3.根据权利要求1所述的弱监督物体定位装置，其中，所述部件重要性建模模块，包括：

权重预测模块，能够根据所述多个部件特征得到相应的多个分支重要性；以及

分类模块，能够将所述多个部件特征进行分类。

4.根据权利要求1所述的弱监督物体定位装置，其中，所述特征提取模块使用两种骨干网络进行特征提取，分别是改进后的VGG16以及ResNet50。

5.根据权利要求4所述的弱监督物体定位装置，其中，所述VGG16用于移除掉conv5-3之后的网络层，并增加了两个卷积层和一个ReLU激活函数。

6.根据权利要求4所述的弱监督物体定位装置，其中，所述ResNet50用于修改最后一个网络层的步长。

7.一种基于权利要求1至6任一项所述的弱监督物体定位装置的基于部件感知的弱监督物体定位方法，包括：

操作S1：对输入图像进行特征提取形成特征图；

操作S2：捕捉所述特征图的目标的一个部件得到其注意力图，从而获得多个部件的注意力图；

操作S3：根据所述特征图与所述多个部件的注意力图，将其结合转化为多个部件特征并输出；

操作S4：根据所述多个部件特征得到各部件特征的重要性权重；以及

操作S5：根据所述多个部件的注意力图与所述各部件特征的重要性权重，得到和原图大小一致的激活图，对所述激活图设置设定阈值，找到能够覆盖响应区域的最大邻接矩形完成最终定位。