[发明专利]一种基于循环指导的弱监督联合目标检测和语义分割方法

说明书

一种基于循环指导的弱监督联合目标检测和语义分割方法，属于计算机视觉技术领域。初始化卷积神经网络；神经网络前向传播获得图像的特征图；目标检测分支前向传播获得目标定位图；语义分割分支前向传播获得分割掩膜；通过目标定位图得伪真实语义分割标注；通过分割掩码得图像候选区域权值；计算语义分割分支的损失；计算目标检测分支的损失；使用随机梯度下降算法更新参数；重复以上直到收敛；输入图像到神经网络中，得目标检测和语义分割结果；初始化卷积神经网络；神经网络前向传播得图像特征图；目标检测分支前向传播得目标检测结果；语义分割分支前向传播得语义分割掩膜；通过目标检测结果和语义分割掩膜得示例分割掩膜。

技术领域

本发明属于计算机视觉技术领域，尤其是涉及一种基于循环指导的弱监督联合目标检测和语义分割方法。

背景技术

目标检测和语义分割是机器视觉的基本问题，在视频监控、无人驾驶等场景都有广泛应用，比如遥感领域，输入遥感图像后可以自动检测建筑物或人物在遥感图像中的位置，从而确定所在地点；也可以应用在医疗领域，根据医学X光图像或显微图像分析各种病变；在军事领域，目标检测可以用于定位敌方的位置。机器学习在目标检测和语义分割等任务中取得了巨大成功，特别是基于分类和回归等强监督学习任务。预测模型是从包含大量训练样本的训练数据集中学习，每个训练样本对应一个事件或对象。训练样本由两部分组成：一个描述事件/对象的特征向量(或示例)，以及一个表示真值输出的标签。在分类任务中，标签表示训练样本所属的类别；在回归任务中，标签是一个与样本对应的实数值。

随着深度学习的兴起，近年来涌现了大量优秀的目标检测和语义分割模型。随着数据驱动方式在图像识别上的不断发展，人们对于扩大目标检测和语义分割系统规模的兴趣越来越大。然而，目前的目标检测和语义分割皆存在两个缺点：首先，大多数成功的技术都需要含有真值标签的大规模训练数据集。然而，在许多场景下，由于数据标注过程的成本极高，很难获得强监督信息。因此，训练一个高准确率的检测和分割模型需要大量的以包围框和像素形式精细标注的图片数据作为模型监督条件，需要花费大量的人力物力。其次，与分类任务不同，用类别、包围框和像素完整标注对象实例的方法几乎是不可扩展的。因此，人们加大对无监督和弱监督的目标检测和语义分割方法的探索力度，但现在，完全无监督、无标注的方法在目标检测和语义分割任务中的性能表现很差，而常规弱监督方法则无法很好泛化到复杂场景的图像处理中。

弱监督问题是指为实现某个计算机视觉任务，采用了比该任务更弱的一种人工标注作为监督信息。一般来讲，弱监督的标注比原始的标注更容易获取。例如，对于目标检测任务，图像层面(image-level)的标签相比物体的包围框(bounding box)是一种弱监督的标注；对于语义分割任务，图像层面(image-level)的标签和物体的包围框(bounding box)相比像素层面(pixel-level)的标签则是一种弱监督的标注。

对于目标检测和语义分割，相关研究工作一直是计算机视觉的研究热点。当前弱监督目标检测和语义分割仍存在着挑战，总体来说，挑战性主要体现在以下两个方面：鲁棒性和计算复杂性。

目标检测和语义分割的鲁棒性主要由类内表观差异和类间表观差异影响，大的类内表观差异和小的类间表观差异通常会导致目标检测方法的鲁棒性降低。类内表观差异是指同类不同个体间的变化，例如，马的不同个体在颜色、纹理、形状、姿态等方面存在差异。由于光照、背景、姿态、视点的变化和遮挡的影响，即使同一匹马在不同的图像中看起来也会非常不同，使得构建具备泛化能力的表观模型极为困难。