[发明专利]一种暗光条件下基于视频的工业缺陷检测系统

权利要求书

1.一种暗光条件下基于视频的工业缺陷检测系统，其特征在于：系统整体分为三层，分别为视频输入层、模型层以及结果输出层；所述模型层采用基于视频流自监督对比学习训练的模型，由一个视频预处理阶段以及预训练的自监督对比学习模型构成，最终由所述预训练的自监督对比学习模型向结果输出层输出带有目标框的视频流数据，所述视频输入层接入视频流采集设备，所述结果输出层将带有目标框的视频流数据输出；

所述模型层的逻辑架构包括视频流预处理和预训练的自监督对比学习模型两个逻辑单元，所述视频流预处理步骤在训练过程中针对视频流中的暗光程度的不断迭代光线增强的参数，得到某一暗光程度下光线增强的最佳参数；所述预训练的自监督对比学习模型通过自监督对比学习，捕捉视频每一帧之间的关系，抽取待检测目标的特征，以此来实现少量标注或无标注的训练检测方法；

所述视频流预处理步骤首先构造光线自适应数据集，将正常曝光的视频帧减去一个圆心为(x₀,y₀)，半径为r的径向渐变，渐变速率公式为z＝f(r)，其中f为参数可调的线性函数f＝kx+b,(0.5≤k≤2,-rb0)，构造模拟使用照明设备时，中间亮，四周暗的样本集；之后，根据所述样本集，使用对抗生成网络训练一个光线自适应增强模型，使用生成器生成正常曝光的视频帧，同时使用判别器判别是生成的样本还是原始样本；最后，使用训练好的对抗生成网络中的生成器来对暗光条件下采集的样本做光线增强，得到预处理后的视频流数据；

所述预训练的自监督对比学习模型输入来自于光线增强预处理的视频流数据，预训练的自监督对比学习模型的训练阶段可以分为两部分，第一部分是基于无标签视频流数据的对比学习，第二部分是基于少量标签的视频帧或视频流数据的目标检测学习；

所述基于无标签视频流数据的对比学习部分包含两个网络结构：目标区域提取网络和目标区域对比网络；所述目标区域提取网络可以是任意的目标检测网络，用于提取一定数量的目标可能存在区域；所述目标区域对比网络设置为一个向量嵌入层，将目标区域提取网络所提取出来的区域向量化，并将所有的向量都映射到一个单位超球面上；

所述目标区域提取网络从某一时间段的视频流当中随机的挑选出两帧视频帧，将这两帧视频帧通过目标区域提取网络得到一定数量的目标可能存在的区域，随后经过目标区域对比网络将所有的区域分别映射为一个单位向量；所述单位向量中，每个向量都有与其在内积空间中最邻近的另一个向量，称为是一对正样本对，其他所有向量对于正向量对而言都是负样本，通过对比损失公式计算，使得网络将所有的正样本对之间的余弦距离拉近，正样本与负样本的余弦距离拉远；

所述对比损失公式为：

Z_i为任一单位向量，Z_j为与Z_i余弦距离最近的单位向量，τ为用来调节对比度的超参数，所述基于少量标签的视频帧或视频流数据的目标检测学习首先要去除所述基于无标签视频流数据的对比学习阶段的目标区域对比网络，仅保留下前一阶段训练所得的目标区域提取网络，利用少量的带标签数据对这一网络进行目标检测的训练，使网络能够生成待检测目标的具体标签。

2.如权利要求1所述的一种暗光条件下基于视频的工业缺陷检测系统，其特征在于：预训练的自监督对比学习模型在检测阶段时直接输入经过光线增强预处理的视频流数据，得到带目标检测框的视频流。