[发明专利]一种暗光条件下基于视频的工业缺陷检测系统

说明书

本发明通过视频流处理和自监督对比学习领域的方法，实现了一种暗光条件下基于视频的工业缺陷检测系统。系统整体分为三层，分别为视频输入层、模型层以及结果输出层；所述模型层采用基于视频流自监督对比学习训练的模型，由一个视频预处理阶段以及预训练的自监督对比学习模型构成，最终由所述预训练的自监督对比学习模型向结果输出层输出带有目标框的视频流数据，所述视频输入层接入视频流采集设备，所述结果输出层将带有目标框的视频流数据输出。上述系统能够在不同暗光条件下以较高的速率和准确率对工业缺陷进行目标检测；并且能够在少量数据标注的情况下进行自监督的对比训练，减少标注成本。

技术领域

本发明涉及视频流处理和自监督对比学习领域，尤其涉及一种暗光条件下基于视频的工业缺陷检测系统。

背景技术

目标检测一直以来都是计算机视觉领域的研究热点，随着深度学习理论的快速发展，基于深度学习的目标检测算法不论是在科学研究还是实际应用上都取得了巨大的成功。然而这些目标检测方法都是为正常光照下的目标检测任务而设计的，一旦检测过程中光线不足，那么算法的性能就会急剧下降。

弱光下目标检测的场景有很多，如夜晚时的人脸检测等各种检测任务，以及缺乏光源的封闭空间的中目标检测任务。以缺乏光源的封闭空间的中缺陷检测为例，目前采用的解决方法主要有以下几种：1.检测时用照明设备进行补光，例如闪光灯。但是这样做的缺点也非常明显，实时检测过程中让照明设备保持常亮非常耗能，同时容易导致视频流成像过程中光线不均匀影响算法的检测性能，并且很多检测情况下不支持使用照明设备。2.直接利用弱光条件下含有待检测物体的视频帧作为训练集训练神经网络。但这种方法也有一个非常明显的缺点，在光线非常昏暗的情况下视频帧的标注工作会变得非常困难，增大标签的获取成本，同时弱光条件下视频流中目标的特征也将变得更加不明显，网络学习到有用特征的难度也会增大，影响算法的检测性能。

因此，需要解决的技术问题如下：在照明设备下或者在不利用照明设备的情况下，利用基于深度学习的目标检测算法，通过可训练的自适应光线增强的方法优化用于训练神经网络的数据集，增强弱光视频帧暗光细节，使目标检测算法能够在弱光视频帧(甚至人眼不能辨识的情况)中检测出待检测目标；同时通过基于视频流的自监督对比学习，使得网络在缺少标注的情况下也能够学习到待检测目标的相关特征，减轻视频流标注的工作量。

如上所述，通用的目标检测算法是针对正常光照条件下的目标检测任务而设计的，在暗光条件下的检测性能不佳，并且暗光条件下拍摄的视频流也会很大程度上增大标注的成本。

发明内容

为此，本发明首先提出一种暗光条件下基于视频的工业缺陷检测系统，系统整体分为三层，分别为视频输入层、模型层以及结果输出层；所述模型层采用基于视频流自监督对比学习训练的模型，由一个视频预处理阶段以及预训练的自监督对比学习模型构成，最终由所述预训练的自监督对比学习模型向结果输出层输出带有目标框的视频流数据，所述视频输入层接入视频流采集设备，所述结果输出层将带有目标框的视频流数据输出；

所述模型层的逻辑架构包括视频流预处理和预训练的自监督对比学习模型两个逻辑单元，所述视频流预处理步骤在训练过程中针对视频流中的暗光程度的不断迭代光线增强的参数，得到某一暗光程度下光线增强的最佳参数；所述预训练的自监督对比学习模型通过自监督对比学习，捕捉视频每一帧之间的关系，抽取待检测目标的特征，以此来实现少量标注或无标注的训练方法。

所述视频流预处理步骤首先构造光线自适应数据集，将正常曝光的视频帧减去一个圆心为(x₀,y₀)，半径为r的径向渐变，渐变速率公式为z＝f(r)，其中f为参数可调的线性函数f＝kx+b,(0.5≤k≤2,-rb0)，构造模拟使用照明设备时，中间亮，四周暗的样本集；之后，根据所述样本集，使用对抗生成网络训练一个光线自适应增强模型，使用生成器生成正常曝光的视频帧，同时使用判别器判别是生成的样本还是原始样本；最后，使用训练好的对抗生成网络中的生成器来对暗光条件下采集的样本做光线增强，得到预处理后的视频流数据。