[发明专利]一种基于半监督学习的瑕疵检测方法

说明书

本发明公开一种基于半监督学习的瑕疵检测方法，包括无监督学习、有监督学习和瑕疵检测，无监督学习阶段将无瑕疵图像生成虚假带瑕疵图像再修复回无瑕疵图像，将带瑕疵图像修复为虚假无瑕疵图像再转换回带瑕疵图像，然后判断真实性，计算对抗损失并优化更新辨别器参数；有监督学习阶段加入高斯噪声并通过瑕疵修复器将虚假带瑕疵图像转换为无瑕疵图像，通过新的辨别器输入两张图像组成的数据对，然后判断真实性，计算对抗损失并优化更新辨别器；瑕疵检测给定随机带瑕疵图像，将带瑕疵图像转换为虚假无瑕疵图像，逐像素比对以获得标记瑕疵位置与形状的二值图像。本发明降低瑕疵图像合成复杂性和检测未见过瑕疵复杂性，对未见过的瑕疵有很好的适应性。

技术领域

本发明属于自动化工业技术领域，特别涉及一种基于半监督学习的瑕疵检测方法。

背景技术

在工业领域中，生产线产品的瑕疵检测是保证产品质量的重要一环。在传统工业生产过程中，这一繁杂的任务往往依靠人工筛查来完成。由于筛查的结果包含着工人们不一致的主观判断，且筛查的效率也很大程度上决定于工人们身体状态的好坏，耗时耗人力的同时产品质量也难以把控。近年来随着深度学习在工业领域的广泛应用，工业生产逐渐趋于自动化和智能化。许多基于深度学习技术的自动瑕疵检测方法被运用于实际生产，辅助甚至取代传统人工筛查，提高了瑕疵检测效率。

在工业瑕疵检测中，要使得数据集包含足够多样的瑕疵样本，光靠生产线取样是远远不够且低效的。所以需要采取一些图像样本扩充方法，常见的图像增强通用性强且容易使用，然而存在以下缺点：首先是样本扩充数量有限，其数量受限于图像增强的方法数；其次图像增强无法在图像内容的层面上为图像带来多样性，数据集变化的可能性依旧被限制在已有数据集内容的范围之内。为了突破这一缺点，可以通过生成式对抗网络来合成样本，使得扩充的样本内容更具有随机性和多样性。

生成式对抗网络是Ian Goodfellow在2014年提出的新式网络模型。与卷积网络的其他常见应用如图像分类、目标检测、语义分割等相比，GAN 最大的特点能够通过拟合数据的分布来生成数据集中没有的数据，常见的应用有人脸生成、超分辨率生成、图像修复等等。从某种程度上，GAN是使用强化学习来解决生成建模问题的一种方式，两者的思想有许多共同之处。例如，GAN和强化学习中的“演员-评论家”算法有着异曲同工之妙，演员就好比GAN中的生成器，评论家就像GAN中的判别器，在演员(生成器) 和评论家(判别器)之间维持一种博弈达到纳什均衡。

随着GAN技术愈趋于热门，瑕疵检测领域也逐渐引入了GAN技术。常见的用处是瑕疵生成，即通过GAN技术扩充样本解决样本量少且获取成本高的问题。也可以通过GAN技术将图像中的瑕疵放大从而提高瑕疵检测效果。普遍的做法是先通过GAN生成小瑕疵块然后贴合到原图中(孙东平.基于DCGAN样本生成的小样本视觉外观瑕疵检测[D].吉林大学,2019.)，这种做法存在以下缺点：设计流程繁琐、难以设计周全、图像贴合边缘明显突兀并整体呈现出不真实感。为了避免这个缺点，可以通过利用CycleGAN 网络架构直接进行整体瑕疵样本的生成，其生成的样本更真实且省去了人工设计合成的繁杂。在《基于GAN的缺陷图像简单生成及其用于改进缺陷识别》(Niu S,Li B,Wang X,et al.Defect image samplegeneration with GAN for improving defect recognition[J].IEEE Transactions onAutomation Science and Engineering,2020,17(3):1611-1622.)中，便采取了这样的方法进行瑕疵生成，并且同时利用CycleGAN的循环回路特性进行瑕疵的修复，进而对比修复前后图像来提取瑕疵区域。然而这种方法依旧存在不足：该方法的瑕疵修复器所使用的一致性损失(Loss R2)和对抗损失(Loss R1)分别处于前向和反向两个不同的训练阶段中，在同一训练阶段缺少对两种损失的有效结合，使得模型在训练修复过程缺少针对性，而修复效果直接影响了瑕疵提取的效果。本发明针对这一问题进一步改进，在修复阶段添加Pix2pix式的判别器加以监督，将一致性损失和对抗损失集中于一个训练阶段，进一步提升瑕疵修复效果，最终提升整体瑕疵检测效果。

发明内容