[发明专利]一种基于机器视觉的两阶段主板图像缺陷检测及定位方法

权利要求书

1.一种基于机器视觉的两阶段主板图像缺陷检测及定位方法，其特征在于，包括：

(1)构建基于生成对抗网络的轻量化缺陷检测网络；

(2)构建基于目标识别网络与轻量化缺陷检测网络的两阶段缺陷检测及定位方法，包括以下步骤：

步骤一：引入原始主板图像数据集，在每个主板图像中通过人工标注的方式得到多个目标的标记框(即待进行缺陷检测的局部区域)，以此构建目标识别网络主板图像数据集；

步骤二：获取步骤一所述的主板图像数据集，并做预处理(包含图像等比缩放，将灰度值范围调整至-1至1)；

步骤三：构建目标识别网络，将ResNet-152卷积神经网络作为特征提取网络，将步骤二中所述的样本图像依次输入至特征提取网络中，获得每张样本图像对应的融合特征图；

将输出的融合特征图依次输入至RPN网络中，获得每张样本图像所有的目标识别候选区域图像；

步骤四：构建轻量化缺陷检测网络的数据集，获取步骤三中所有的目标识别候选区域图像，将数据集划分为训练集和测试集，其中训练集中只包含正常图像，测试集中包含正常图像和异常图像，利用目标识别算法制作目标识别候选区域图像集，有效实现复杂检测场景下，为缺陷检测网络去除大量无关特征；

步骤五：构建基于生成对抗网络的轻量化缺陷检测网络，基于生成对抗网络，使用Skip-GANomaly作为骨干网络，其中生成网络由编码器及解码器构成；

在生成网络中，将其中除注意力机制模块内的标准二维卷积全部替换为深度可分离卷积，ReLU激活函数替换为ReLU6激活函数，构建轻量化特征提取模块替换由标准二维卷积、LeakyReLU激活函数、批量归一化组成的卷积处理单元；相较于骨干网络，减少每个特征提取模块输出的特征图通道数量，有效降低生成网络的计算复杂度与参数数量；

在编码器中，构建跨注意力机制的轻量化特征提取模块替换轻量化特征提取模块，输出注意力特征图，增强对特征图的提取能力，使模型更关注任务所感兴趣的区域；利用跳跃连接，将输出的注意力特征图输入至解码器中对应的特征提取模块；

在解码器中，构建由双线性插值与轻量化特征提取模块组成的上采样特征提取模块，实现对特征图的重构；

步骤六：将DCGAN的判别网络作为缺陷检测网络的判别网络，使用由LeakyReLU激活函数层、卷积层、批量归一化层组成的卷积处理单元进行下采样，实现图像向潜在空间的映射，并通过Sigmoid函数将结果进行分类；

步骤七：在训练阶段，分别训练不同阶段的两个网络：

(7.1)将步骤一中所述主板图像数据集的训练集图像依次输入至步骤二及步骤三的目标识别网络中，由特征提取网络获得融合特征图，将融合特征图输入至RPN网络中；在RPN网络，将一个二进制分类标签分配给每个锚点；如果一个锚框跟所有真值框之一的IoU值大于设定阈值，则为正样本；如果一个锚框跟所有真值框的IoU值小于设定阈值，则为负样本；其余锚框不用于最终训练，将真值框与回归输出的候选框的位置作比较；使用损失函数l({p_i}，{t_i})训练RPN网络：

其中，mini-batch是由图像中最终选取的所有等比例正负样本组成，i代表一个mini-batch中第i个锚点，N_cls代表mini-batch的大小，N_reg代表锚点的数量，p_i代表第i个锚点对应的锚框是目标的概率；代表正样本，代表负样本；t_i代表第i个候选框的边界回归参数，代表第i个真值框对应的边界回归参数；代表二分类损失函数；代边界回归损失函数；代表对正样本进行回归操作；

分类损失函数表示为：

边界回归损失函数表示为：

(7.2)将步骤四中所述数据集的训练集图像输入至步骤五的生成网络中，获得重构图像，将重构图像与真实图像同时输入至步骤七的判别网络中，将重构损失函数l_con、潜在损失函数l_lat、对抗损失函数l_adv以加权组合形式构建总损失l_total，用以训练生成网络与判别网络，公式如下所示：

l_total＝ω_advl_adv+ω_conl_con+ω_latl_lat

重构损失函数l_con表示为：

潜在损失函数l_lat表示为：

对抗损失函数l_adv表示为：

其中，ω_adv、ω_con、ω_lat为各损失函数的权重参数；x代表原始图像，代表重构图像，D代表判别网络，E_x～p(x)代表原始图像取样于原始数据分布p(x)；

其中，重构损失函数l_con用以计算生成网络中x与的差异，在像素层级中x与的差距，保证生成网络的重构能力；潜在损失函数l_lat用以减小x与在判别网络最后一卷积层提取的潜在向量的差距；对抗损失函数l_adv用以平衡生成网络与判别网络，即最大化生成网络生成重构图像的能力，最小化判别网络鉴别真实图像和重构图像的能力；

步骤八：在测试阶段，将步骤一中所述主板图像数据集的测试集图像依次输入至步骤二及步骤三的目标识别网络中，获得每一张样本图像所有的目标识别候选区域图像，将所有的目标识别候选区域图像输入至步骤五的轻量化缺陷检测网络中，并获得每一张目标识别候选区域图像的异常分数，依照每一张图像的异常分数数值大小并判断，在原图中标注检测为缺陷的图像位置，从而实现图像的缺陷检测及缺陷定位。