[发明专利]基于可变形卷积与特征融合的玻璃缺陷检测方法与装置

权利要求书

1.一种基于可变形卷积与特征融合的玻璃缺陷检测方法，其特征在于，包括以下步骤：

采集待检测玻璃的表面图像；

将所述表面图像输入至预先训练的缺陷识别模型，确定所述待检测玻璃的实际缺陷，其中，所述预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到；以及

基于所述实际缺陷生成所述待检测玻璃的目标抓取动作，按照所述目标抓取动作抓取所述待检测玻璃；

所述将所述表面图像输入至预先训练的缺陷识别模型，确定所述待检测玻璃的实际缺陷，包括：将所述表面图像输入至所述含有可变形卷积的卷积神经网络，提取多分辨率特征图；将所述多分辨率特征图输入至所述特征融合网络，生成平衡特征金字塔；将所述平衡特征金字塔输入至所述检测器网络，检测所述待检测玻璃的缺陷位置和缺陷类别；

所述含有可变形卷积的卷积神经网络包括可变形卷积变换通路和自映射残差通路，所述将所述表面图像输入至所述含有可变形卷积的卷积神经网络，提取多分辨率特征图，包括：将所述表面图像输入至所述可变形卷积变换通路，计算所述表面图像的空间采样位置的偏移量，并基于所述偏移量得到多尺度采样空间；通过所述自映射残差通路对所述表面图像进行梯度处理，并在所述多尺度采样空间中从梯度处理后的表面图像中提取所述多分辨率特征图；

所述特征融合网络包括横向通路、自上而下通路与平衡特征通路，所述将所述多分辨率特征图输入至所述特征融合网络，生成平衡特征金字塔，包括：通过所述横向通路对所述多分辨率特征图进行特征降维处理，生成降维特征图；通过所述自上而下通路对所述降维特征图进行上采样，并将上采样后的特征图与对应分辨率的特征图相加得到合并特征图；通过所述平衡特征通路将所有合并特征图缩放到统一分辨率，并相加得到重整特征图，从所述重整特征图中提取细化特征，并将基于所述细化特征恢复得到的特征图与所述合并特征图相加，得到所述平衡特征金字塔；

所述检测器网络包括候选区域生成网络与候选区域检测网络，所述将所述平衡特征金字塔输入至所述检测器网络，检测所述待检测玻璃的缺陷位置和缺陷类别，包括：将所述平衡特征金字塔输入至所述候选区域生成网络，提取多个局部特征，并基于所述多个局部特征生成候选区域；将所述候选区域和所述平衡特征金字塔输入至所述候选区域检测网络，依据所述候选区域的尺寸选择相应的所述平衡特征金字塔的特征图，并将与所述候选区域对应的特征图映射为目标分辨率的特征图，基于所述目标分辨率的特征图对应的特征向量确定所述缺陷位置和所述缺陷类别。

2.根据权利要求1所述的方法，其特征在于，所述预先训练的缺陷识别模型由含有可变形卷积的卷积神经网络、特征融合网络和检测器网络通过近似联合训练得到，还包括：

获取玻璃的历史图像数据集，对所述历史图像数据集中的玻璃的缺陷类别与缺陷位置进行标注，得到缺陷图像数据集；

利用所述缺陷图像数据集对所述卷积神经网络、所述特征融合网络和所述检测器网络进行近似联合训练，得到所述缺陷识别模型。