[发明专利]一种基于多任务孪生网络的工业图像缺陷检测方法及系统

说明书

本发明涉及到图像处理技术领域，具体公开了一种基于多任务孪生网络的工业图像缺陷检测方法。所述方法将待检测图像与对应模板图像共同作为网络输入，计算出二者差异的相关特征，并运用分割网络结构进行多任务辅助训练，使得骨干网络能够明确地在FPN特征提取的过程中有效区分背景信息，随后使用FPN特征进行检测网络的训练，完成缺陷的二分类检测任务。本发明采用孪生网络结构为模型的泛化能力提供了有效保障，多任务分割网络辅助检测网络训练使得网络训练更加容易，性能更好，为二分类检测任务提供了支撑。

技术领域

本发明涉及图像检测技术领域，特别涉及一种基于多任务孪生网络的工业图像缺陷检测方法及系统。

背景技术

随着计算机视觉技术的快速发展与人工智能技术的广泛应用，机器视觉技术越来越多地应用于工业场景，在生产的各个环节中均有广泛的运用。而缺陷检测计算机视觉在工业领域近年来需求剧增的场景之一，该任务主要体现在计算机视觉可以快速、自动地通过图像传感器采集到的数据对产品外观图像进行检测，返回产品是否存在缺陷以及缺陷相关信息。缺陷检测过程中，产品二分类的准确率指标至关重要，直接影响检测结果的漏检与过检率。因此二分类准确率高的工业产品数据缺陷识别检测方案在产品缺陷检测领域具有很高的实用价值。

现有的机器视觉工业图像数据二分类缺陷检测方案已经可以满足很多场景，甚至很多情况下多分类准确率已经高到可以实用，但现有的目前还存在以下缺陷：

第一，现有的图像缺陷检测方案大多采用待测图像作为输入，此类方案难以保证检测方案的数据迁移能力。这个问题表现在当模型使用现有数据集进行训练后，由于模型泛化能力不足，面对需要检测新类型图像数据的场景时会产生异常，导致缺陷被误检或漏检，这是由于单一使用待测图像作为输入的模型无法将图像背景与前景进行明确区分所导致的。而共同运用待检测图像与对应模板图像信息的孪生网络可以很大程度上缓解单一输入模型的泛化性不足的问题。

第二，目前存在的利用孪生网络进行缺陷检测的技术没有从网络特征层面深入挖掘模型的潜能，在模型训练过程中孪生网络的前、背景差异的先验信息没有加以充分利用，在模型泛化能力这一指标上还有提升的空间。

因此，有必要基于孪生网络提出一种新的工业图像缺陷检测方法，将待检测产品与对应模板图像共同作为网络输入，在模型训练过程中充分运用孪生网络的前、背景差异的的先验信息，以提升模型的泛化能力及网络训练的性能，为二分类检测任务提供更好的支撑。

发明内容

本发明的目的在于提供一种基于多任务孪生网络的工业图像缺陷检测方法及系统，已解决上述现有技术中模型泛化性不足、孪生网络缺陷检测技术深入不够的缺陷。

鉴于此，本发明具体方案如下：

一种基于多任务孪生网络的工业图像缺陷检测方法，其特征在于，包括如下步骤：

S1.获取待检测图像与对应的模板图像，并对图像数据进行预处理；

S2.将待检测图像与模板图像输入孪生网络结构，完成图像数据处理，并将输入的图像数据表示成多尺度特征；

S3.将图像数据表示特征送入FPN模块生成FPN特征；

S4.将FPN特征送入检测网络，训练二分类缺陷工业图像陷检测网络；

S5.使用训练后的检测网络对测试图像进行检测，得到图像的缺陷检测结果。

进一步地，本发明所述工业图像缺陷检测方法中，构建分割网络结构对得到的FPN特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络。

进一步地，本发明所述工业图像缺陷检测方法中，所述步骤S5为：

S51.裁剪训练过程中的网络，略去分割网络监督部分，保留剩余框架，生成网络模型；