[发明专利]一种多层级的智能手机屏幕缺陷检测方法

说明书

本发明涉及一种多层级的智能手机屏幕缺陷检测方法，包括步骤：人工标注图像中的缺陷，然后对前景缺陷图像和背景图像进行分离；利用深度残差网络和特征金字塔网络对数据集进行多尺度缺陷区域特征抽取，得到多尺度特征图像；抽取目标兴趣检测区域。本发明的有益效果是：通过兴趣检测区域提取，有效地提升了图像预处理的效率，并避免了现有的通用目标检测技术在手机屏幕缺陷检测的小目标检测任务中受背景因素干扰大的问题，并针对实际落地应用的数据集匮乏问题提出了针对性的增强方式，大大降低了前期的人力标注投入，进一步提高了整体方案的效率。

技术领域

本发明属于手机屏幕缺陷检测领域，尤其涉及一种多层级的智能手机屏幕缺陷检测方法。

背景技术

屏幕作为智能手机的核心组成部分,是人机交互的关键所在,其质量的好坏严重影响着用户对手机的体验。因此，各大手机生厂商对手机屏幕的生产工艺越来越苛刻。但是，手机屏幕在生产的过程中，又极容易受到生产环境和生产工艺的影响。为了防止装有缺陷屏幕的手机流入市场损害消费者的利益，对手机屏幕生厂商自身的信誉造成影响，各大手机屏幕生厂商采取一些必要的手段来对手机屏幕的质量进行检测。传统的检测手段是在生产线上安排工人值守，工人对生产线上的屏幕用肉眼逐一进行检测。但是这种手段存在检测效率慢、人工成本高、缺乏统一的判断标准等缺点。此外，还有一些计算传统计算机视觉技术的手机屏幕缺陷检测技术，但这些方法大多只是针对一种或者几种特定的缺陷类型进行算法设计，一旦遇到新的缺陷，又要针对性的设计新的算法，缺乏通用性。具体而言，在智能手机屏幕外观缺陷任务中，存在的主要难点有：

1)缺陷与背景具有较强的关联性。感兴趣区域是否存在缺陷需要结合其所处位置的背景信息综合判断，在不同的背景下，其是否为缺陷存在不确定性。例如异色类缺陷，其判定条件是前景缺陷与背景图像存在色相、明度等显著差异。

2)背景信息具有极大的干扰性。对于二维矩形图像与不规则的目标检测区域之间的无关背景区域，具有较大的可能性存在与缺陷相似的区域。

3)缺陷种类繁多且界定模糊。由于不同的生产环境、生产标准和生产技术等差异，不同的生产场景下的手机屏幕存在不同类别的缺陷种类，且目前缺乏统一的分类标准，缺陷种类的标定存在因人而异的问题。

4)标定数据集质量参差不齐。不同于学术界广泛认同使用的VOC、COCO等检测数据集，工业界落地应用的数据集需要因任务场景的不同需求进行具体针对的定制化收集。基于主观上标定人员缺乏对人工智能技术的认知匮乏和客观上缺陷样本区分度不高等因素，智能手机屏幕缺陷工业缺陷数据集存在主要两个问题：一是不同类别下的样本数据量相差大，不满足独立同分布条件；二是整体样本数量不够多。

上述前三点问题是手机屏幕外观缺陷检测任务中特定的难点问题，其原因在于缺陷的定义因场景而异，第4点问题则是目前各类深度学习算法落地应用的普遍难点。

发明内容

本发明的目的是克服现有技术中的不足，提供一种多层级的智能手机屏幕缺陷检测方法。

这种多层级的智能手机屏幕缺陷检测方法，包括以下步骤：

步骤1、人工标注图像中的缺陷，然后对前景缺陷图像和背景图像进行分离；在标注的前景缺陷图像基础上，对前景缺陷图像在颜色和尺寸上进行增强，扩充前景缺陷的样本数量和形态多样性；最后结合增强后的前景缺陷图像和背景图像生成标注可靠且类别均衡、适用于实际生产场景的数据集；

步骤1.1、人工标注出少量图像中每个前景缺陷图像所处的矩形区域位置和类别信息，然后对前景缺陷图像和背景图像进行分离；

步骤1.2、对前景缺陷图像进行图像降噪处理：采用中值滤波处理图像噪声，将目标点的灰度值设定为目标点周围一区域所有点的中值，使目标点领域像素值更逼近真值，从而剔除独立噪声信号；

图像滤波处理降噪后，会降低图像轮廓和边缘的清晰度，采用拉普拉斯算子对降噪后的图像进行锐化处理，增强图像中物体和背景灰度值之间的差距：