[发明专利]一种弱标签语义分割标定数据生成方法及系统

说明书

本发明涉及一种弱标签语义分割标定数据生成方法及系统，其包括：获取与目标框有重叠区域的锚框，对重叠区域内每个像素点的分类分数；计算与目标框有重叠区域的锚框对重叠区域内每个像素点的投票权重；计算与目标框有重叠区域的锚框对重叠区域内每个像素点的加权投票结果；根据加权投票结果，标定原图中每个像素点所属的类别。本发明通过优化目标检系统中语义分割分支数据标定的精度，提高目标检测的精确性，并能有效节省人力、物力和时间成本。

技术领域

本发明涉及一种模式识别领域中计算机视觉方向的语义分割标定数据生成方法及系统，特别是关于一种基于目标检测结果的弱标签语义分割标定数据生成方法及系统。

背景技术

在近年来基于卷积神经网络的目标检测中，越来越多的算法采用在主网络中接入与其共享前端特征提取层的语义分割分支来增强目标检测结果的精确性。但是由于目标检测算法和语义分割算法各自训练数据的标定方法有较大的差异性，语义分割算法的数据标定难度和成本远高于目标检测算法，而用于训练语义分割算法的数据库数量也远小于目标检测的数据库，所以目前包含语义分割分支的目标检测算法中，普遍的做法是使用弱标签的训练方式，借助目标检测的标定数据中的目标框(ground-truth bounding-box)生成用于训练语义分割分支的标定数据。

传统的标定数据生成方法是将原始图像中位于目标检测的标定数据中的每个目标框所对应的区域内部的点，直接分类为该目标框对应物体的类别，不在任何目标框所对应的区域内部的点，直接分类为背景；位于两个以上目标框所对应区域的重叠部分的点，被直接分类为面积最小的那个目标框对应的物体类别。显而易见，含有上述方法的目标检测系统的优点是简单易行，其在训练语义分割分支的网络参数的时候，不依赖于专门为语义分割精确标定的数据，仅靠对目标检测的标定数据中的目标框位置进行简单的操作，即可获得粗略的语义分割标定数据。但是其缺点也很明显，简单地以像素点的位置处于目标框内、外来作为区分该像素所属物体类别的依据，会导致大量本来属于背景或其它类别的像素混入当前目标物体的语义分割区域，从而使得网络的语义分割分支在训练的过程中学习到大量错误的目标物体特征，影响语义分割分支的结果精度，且这种误差还会随着网络的目标检测和语义分割分支共享一部分主干网络结构及其中参数的更新，进一步影响到整个目标检测算法的结果精度。

实际上，在目标检测算法分类器运行的过程中，基于原图中不同尺度、不同位置、不同形状的锚框(anchor)所对应区域所计算出的目标类别分数中，蕴含了大量远比目标框更完整和精确的语义信息，而在传统的方法中，这些信息仅仅被用于目标检测部分的训练，特别是其中与目标框重叠率既不超过正样本阈值也不低于负样本阈值的大量锚框的分类结果，甚至完全没有参与算法的训练，就被直接丢弃了，这对于语义分割分支的训练来说，无疑是一种巨大的资源浪费。尽管对目标框在卷积图中对应的区域采用目前在目标检测领域广泛应用的注意力(attention)机制能通过对该区域中特征更接近目标物体类别的像素进行加权来改善上述情况，但是该方法不仅同样没有充分利用目标检测的结果中蕴含的信息，还需要建立一个独立于目标检测网络之外并且需要单独进行初始化和训练的小型网络，因而会进一步增加目标检测系统需要训练的参数的数量和网络的训练难度。

综上所述，在含有弱标签语义分割分支的目标检测方法中，传统的直接使用像素点位于目标框内、外的判断来生成语义分割分支的标定数据生成方法，不仅未充分利用目标检测中各个锚框的分类结果，以及相应的锚框与目标框的位置关系中蕴含的信息，还会导致语义分割分支学习到很多不属于目标的错误特征，且这种错误还会随着网络的目标检测和语义分割分支共享一部分主干网络结构及其中参数的更新，进一步影响到整个目标检测算法的结果精度。而目前以注意力机制为代表的目标检测优化机制虽然能在一定程度上缓解上述现象，但是其需要建立额外的网络并进行训练，因而会进一步增加网络参数和训练难度。因此，对于含有语义分割分支的目标检测算法来说，如何获得一种比直接使用目标框标定语义分割训练数据更精确，同时不引入额外的网络结构训练参数的语义分割标定数据生成方法，是一个亟待解决的问题。

发明内容