[发明专利]基于边界注意力一致性的目标边界检测和目标分割模型

说明书

本发明涉及一种基于边界注意力一致性的目标边界检测和目标分割模型，其主要技术特点是：包括级联在一起两个pix2pix模型，每个pix2pix模型均由生成器、判别器、损失函数组成，第一个pix2pix模型为目标边界检测模型(OBD模型)，其检测结果叠加在原始图像上用作第二个pix2pix模型的输入，第二个pix2pix模型为目标分割模型。本发明设计合理，在目标边界检测模型当中引入了边界注意力一致性用于增强对目标边界的注意力，进而检测到准确的目标边界，实现更准确的目标分割结果。

技术领域

本发明属于计算机视觉技术领域，涉及目标边界检测和目标分割模型，尤其是一种基于边界注意力一致性的目标边界检测和目标分割模型。

背景技术

在技术及视觉技术中，准确的目标分割与针对多种目标的显著性目标检测不同，它要求以更高的精度从背景中分割出特定的目标。例如，应用于场景转换任务的肖像分割以及医学诊断之前的器官分割。尽管深度神经网络已经显著提升了目标分割的性能，但是，由于背景的干扰，在复杂场景中准确分割仍然非常困难。

通过对边界处分割不理想问题的研究，发现问题大多出现在目标边界不明显的区域。这是由于目标与背景局部差异很小，以至于模型无法根据所提取的特征区分两者。一个可行的解决方案是通过将目标边界检测(OBD)视为目标分割的一项任务来提升边界意识。但是，由于目标边界只占整个图像的极小一部分以及在逐像素损失函数中它对目标分割性能的提升贡献很小，因此OBD在现有目标分割模型没有引起足够的关注。

在现有的目标分割模型中，OBD最多只是作为其中的一个简单子网络，仅使用初始图像和真实目标边界图像来训练。由于目标边界像素所占比例小以及缺乏对模型中间的监督，这样的子网络容易出现过拟合和不准确的OBD结果。因此，通过监控OBD模型的中间层引导注意力集中在目标边界有助于提高OBD的准确性。调研发现，大多数优秀的注意力机制是基于类激活图(CAM)的。CAM是通过图像分类来增强标签相关区域注意力的有效方式。

但是，由于图像级分类的弱监督性，使用CAM获得的注意力仍难以准确落在标签相关区域上。因此，研究人员提出了一种空间变换下的注意力一致性(TAC)来进一步约束注意力区域。TAC是指：在图像分类时，如果输入图像发生空间转换，则注意力区域应遵循相同的转换。空间转换一般包括旋转，翻转，裁剪等等。然而，TAC是通过在间接变换下要求输入图像的注意力一致性来提高对标签相关区域的注意力，并且实验证明不同变换或组合下获得的一致性存在明显差异。换句话说，为获得良好的一致性，需要大量试验来找到一个合适的变换，因此在间接变换下获得的一致性是有限的。

综上所述，如何提升目标边界检测和目标分割的准确性是目前迫切需要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于边界注意力一致性的目标边界检测和目标分割模型，解决目标边界检测和目标分割不准确的问题。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于边界注意力一致性的目标边界检测和目标分割模型，包括两个pix2pix模型，每个pix2pix模型均由生成器、判别器、损失函数组成，两个pix2pix模型级联在一起，第一个pix2pix模型为OBD模型用于检测目标边界，其检测结果叠加在原始图像上用作第二个pix2pix模型的输入，第二个pix2pix模型为目标分割模型用于产生目标分割结果；