[发明专利]一种多层级的智能手机屏幕缺陷检测方法

权利要求书

1.一种多层级的智能手机屏幕缺陷检测方法，其特征在于，包括以下步骤：

步骤1、人工标注图像中的缺陷，然后对前景缺陷图像和背景图像进行分离；在标注的前景缺陷图像基础上，对前景缺陷图像在颜色和尺寸上进行增强；最后结合增强后的前景缺陷图像和背景图像生成数据集；

步骤1.1、人工标注出少量图像中每个前景缺陷图像所处的矩形区域位置和类别信息，然后对前景缺陷图像和背景图像进行分离；

步骤1.2、对前景缺陷图像进行图像降噪处理：采用中值滤波处理图像噪声，将目标点的灰度值设定为目标点周围一区域所有点的中值，剔除独立噪声信号；

采用拉普拉斯算子对降噪后的图像进行锐化处理，增强图像中物体和背景灰度值之间的差距：

上式中，f(x,y)为降噪后的图像；为拉普拉斯变换后的图像；c为增强系数；g(x,y)为增强后的图像；

对前景缺陷图像进行色度、锐度、亮度上的随机调整，对前景缺陷图像进行随机角度的旋转、固定比例范围内的随机缩放；

步骤1.3、在随机选取的背景图像区域，对其像素值做调整：

上式中，value_new是增强后的像素值；value_old为原像素值，取值范围为0～255；brightness表示亮度比值，取值为0.9或1.1，brightness取值0.9 表示暗异色，brightness取值1.1表示亮异色；exp取值范围为1.5～3；a和b分别表示矩形背景图像区域宽度和高度的一半；factor表示某点到缺陷中心的距离和缺陷区域边界到缺陷中心的距离之比；center_x和center_y表示矩形背景图像区域中心的横纵坐标，并以(center_x，center_y)为原点建立直角坐标系，x和y分别表示在矩形背景图像区域内点的横纵坐标；

步骤1.4、将前景缺陷图像与目标兴趣检测区域的随机位置进行图像多频段融合，对前景缺陷图像和背景图像构建拉普拉斯金字塔，对每一层进行融合：

上式中，上标i表示拉普拉斯金字塔的第i层；表示输出的融合图像的拉普拉斯金字塔的第i层的特征；表示前景缺陷图像的拉普拉斯金字塔的第i层的特征；表示背景图像的拉普拉斯金字塔的第i层的特征；Rⁱ表示第i层的融合区域；

步骤2、利用深度残差网络和特征金字塔网络对数据集进行多尺度缺陷区域特征抽取，得到多尺度特征图像；利用特征金字塔网络将多尺度特征图像融合，生成具有高级语义的高层特征图，生成具有低级语义的浅层特征图；由区域检测网络提供图像中的缺陷候选区，再使用深度残差网络通过跳层连接将深度残差网络的输入、输出加在一起提取缺陷候选区的图像特征；最后将特征图进行分类；

步骤3、基于步骤2中特征图像抽取目标兴趣检测区域：过滤背景信息；通过大尺度锚定的区域检测网络检出不同工位拍摄的待检测图像的目标兴趣检测区域；

步骤4：在目标兴趣检测区域用区域检测网络生成待检测潜在缺陷区域，并结合步骤2中特征图像判断每个待检测潜在缺陷区域中是否有缺陷存在，得到缺陷的种类；再抽取等长的特征向量，区域检测网络通过设定不同尺度的锚定，以softmax函数判断每个区域为前景缺陷图像或背景的概率，并对前景缺陷图像候选区域的位置进行回归；

步骤5、输出缺陷检测结果。

2.根据权利要求1所述多层级的智能手机屏幕缺陷检测方法，其特征在于，步骤4具体包括如下步骤：

步骤4.1、对数据集中缺陷样本的尺寸及比例进行统计，进行锚定尺度的设定；锚定的长宽比例包括0.2、0.5、1、2和5，像素尺寸包括32像素、64像素、128像素、256像素和512像素；

步骤4.2、结合特征图像，对缺陷候选区进行目标兴趣检测区域池化操作，对图像特征进行归一化处理，通过softmax函数将归一化的图像特征映射到缺陷类别的概率分布：

上式中，J(θ)为目标函数，N为样本数，y为标注类别，为预测类别，θ为模型参数，R(θ)为防止过拟合的L²正则项，λ为参数项。

3.根据权利要求1所述多层级的智能手机屏幕缺陷检测方法，其特征在于：步骤1中缺陷包括毛发、脏污、黑点、划痕和异色。