[发明专利]基于目标检测信息生成缺陷区域的语义分割网络训练方法

说明书

本发明属于图像处理领域，具体涉及一种基于目标检测信息生成缺陷区域的语义分割网络训练方法，包括：读入图片样本以及其对应的目标检测框和目标检测框对应的语义类别；将图片样本传入语义分割网络，前向推断计算获得Logit；利用目标检测框信息及Logit计算损失值；使用所得损失值计算梯度并更新网络权重；判断该网络模型是否达到训练迭代次数上限。本发明的方法利用对缺陷图片的先验认知与目标检测框标注的尺度信息引导语义分割网络模型在训练时能较快收敛，且能较为准确地推断出缺陷信息；能有效地避开现有像素级别标注困难的问题，改用目标检测框标注信息实现语义分割网络训练。

技术领域

本发明属于图像处理领域，具体涉及一种基于目标检测信息生成缺陷区域的语义分割网络训练方法。

背景技术

在所有需要对复杂环境中，对目标信息进行提取时，通常会使用强监督深度学习方法来训练模型。现有的强监督深度学习方法在训练过程中，标注内容必须使用与预测目标相同的标注类型。其中，语义分割与实例分割通常需要使用像素级别的标注进行训练。人工生成这类标注时，需要花费大量的时间与精力。此外，物体的边缘通常较为模糊难以界定，因此标注的精度一般难以保证。

在缺陷检测领域，对于实例分割来说，还存在缺陷标注合并与拆分的问题，例如两条划痕存在像素相交的时候，很难界定其为一个缺陷还是两个缺陷。而使用语义分割则可避免该问题的出现。此外，在该领域的标注中，缺陷通常会作为检测的前景目标，有存在颜色与背景基本一致或缓慢变换的情况。在这种情况下，人的肉眼通常无法确定该类目标与背景的边界，常规使用多边形轮廓线的方式定义缺陷进行像素级标注的方法存在着极大的困难。

上述难以标注的问题通常有三种解决方法：①剔除这类图片，改用含有更为明显缺陷的图片进行标注与训练网络；②放弃标注这类缺陷；③凭借标注者对图像的经验来估计这类标注区域。对于含有缺陷图片本就稀少的缺陷检测领域，剔除这类图片或是放弃标注其中的这类标注极有可能降低算法模型对这类缺陷的泛化认知，从而增加缺陷的漏检率，导致算法模型无法满足实际需求。而凭借标注者经验来估计这类标注区域时，需要标注者对这类缺陷有非常准确的认知，否则算法模型可能因为标注的不准确而导致增加漏检率与误检率。而在某些极端情况下，专业的标注者自身都难以界定较为精确的标注区域。这极大地增加了实施像素级缺陷检测的难度。

因此，为了训练更为有效的模型，必须尽量合理使用这些人工标注困难的图片，以保证算法模型的训练效果，从而在维持缺陷误检率的情况下降低其漏检率。

参考文献：

CN109145713A-一种结合目标检测的小目标语义分割方法；

CN109255790A-一种弱监督语义分割的自动图像标注方法。

发明内容

本发明的目的在于提供一种基于目标检测信息生成缺陷区域的语义分割网络训练方法，该方法利用对缺陷图片的先验认知与目标检测框标注的尺度信息引导语义分割网络模型在训练时能较快收敛，且能较为准确地推断出缺陷信息；能有效地避开现有像素级别标注困难的问题，改用目标检测框标注信息实现语义分割网络训练。

为实现上述目的，本发明提供如下技术方案：

一种基于目标检测信息生成缺陷区域的语义分割网络训练方法，其特征在于：对图片样本中的缺陷标注矩形的目标检测框，并给出目标检测框对应的语义类别；在语义分割网络训练中，输入图片样本以及其对应的目标检测框和目标检测框对应的语义类别进行训练。

进一步地，所述语义分割网络训练包括：

S100、读入图片样本以及其对应的目标检测框和目标检测框对应的语义类别；

S200、将图片样本传入语义分割网络，前向推断计算获得Logit；

S300、利用目标检测框信息及Logit计算损失值；