[发明专利]基于可变形卷积与特征融合的玻璃缺陷检测方法与装置

说明书

本申请涉及图像数据处理技术领域，特别涉及一种基于可变形卷积与特征融合的玻璃缺陷检测方法与装置，其中，方法包括：采集待检测玻璃的表面图像；将表面图像输入至预先训练的缺陷识别模型，确定待检测玻璃的实际缺陷，其中，预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到；基于实际缺陷生成待检测玻璃的目标抓取动作，按照目标抓取动作抓取待检测玻璃。由此，解决了由缺陷形状多样化造成的特征提取困难，以及缺陷尺度多样化造成的单尺度特征语义信息不足，导致无法实现对玻璃缺陷的高效准确检测等问题。

技术领域

本申请涉及图像数据处理技术领域，特别涉及一种基于可变形卷积与特征融合的玻璃缺陷检测方法与装置。

背景技术

基于机器视觉的玻璃缺陷检测技术通常首先需要采集图像，再通过缺陷检测算法来实现玻璃缺陷检出的目的，其对于推动玻璃缺陷检测的自动化与智能化具有重要意义。传统的基于机器视觉的缺陷检测方法主要基于阈值分割算法、选择性搜索算法、支持向量机、最近邻算法、决策树算法和神经网络算法等来实现。上述方法虽然在特定任务、特定场景下取得了不错的结果，但存在阈值泛化能力不足、缺陷特征提取困难复杂、缺陷定位效率低等问题。

相关技术中，卷积神经网络（Convolution Neural Network，CNN）在解决图像分类与目标检测问题时体现了绝对的优势，因此在缺陷检测领域也受到了极大关注。然而，相关技术中快速的基于区域的卷积神经网络（Faster Region-based CNN，Faster R-CNN）在解决玻璃缺陷检测时则存在下列不足：提取的缺陷特征对于缺陷的复杂形状缺乏适应性，单尺度特征用于检测对于多尺度缺陷的检测效果不佳。

发明内容

本申请提供一种基于可变形卷积与特征融合的玻璃缺陷检测方法与装置，以解决相关技术中由缺陷形状多样化造成的特征提取困难，以及缺陷尺度多样化造成的单尺度特征语义信息不足，导致无法实现对玻璃缺陷的高效准确检测等问题。

本申请第一方面实施例提供一种基于可变形卷积与特征融合的玻璃缺陷检测方法，包括以下步骤：采集待检测玻璃的表面图像；将所述表面图像输入至预先训练的缺陷识别模型，确定所述待检测玻璃的实际缺陷，其中，所述预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到；基于所述实际缺陷生成所述待检测玻璃的目标抓取动作，按照所述目标抓取动作抓取所述待检测玻璃。

进一步地，所述将所述表面图像输入至预先训练的缺陷识别模型，确定所述待检测玻璃的实际缺陷，包括：将所述表面图像输入至所述含有可变形卷积的卷积神经网络，提取多分辨率特征图；将所述多分辨率特征图输入至所述特征融合网络，生成平衡特征金字塔；将所述平衡特征金字塔输入至所述检测器网络，检测所述待检测玻璃的缺陷位置和缺陷类别。

进一步地，所述含有可变形卷积的卷积神经网络包括可变形卷积变换通路和自映射残差通路，所述将所述表面图像输入至所述含有可变形卷积的卷积神经网络，提取多分辨率特征图，包括：将所述表面图像输入至所述可变形卷积变换通路，计算所述表面图像的空间采样位置的偏移量，并基于所述偏移量得到多尺度采样空间；通过所述自映射残差通路对所述表面图像进行梯度处理，并在所述多尺度采样空间中从梯度处理后的表面图像中提取所述多分辨率特征图。

进一步地，所述特征融合网络包括横向通路、自上而下通路与平衡特征通路，所述将所述多分辨率特征图输入至所述特征融合网络，生成平衡特征金字塔，包括：通过所述横向通路对所述多分辨率特征图进行特征降维处理，生成降维特征图；通过所述自上而下通路对所述降维特征图进行上采样，并将上采样后的特征图与对应分辨率的特征图相加得到合并特征图；通过所述平衡特征通路将所有合并特征图缩放到统一分辨率，并相加得到重整特征图，从所述重整特征图中提取细化特征，并将基于所述细化特征恢复得到的特征图与所述合并特征图相加，得到所述平衡特征金字塔。