[发明专利]一种基于深度学习网络的机械装配体图像分割方法和设备

说明书

本发明涉及一种基于深度学习网络的机械装配体图像分割方法，包括以下步骤：通过深度学习网络构建由编码器网络和解码器网络组成的机械装配体轻量化语义分割模型；建立机械装配体数据集；将机械装配体数据集中的深度图像输入到编码器网络中进行特征提取，获取高信息质量的特征图；将高信息质量的特征图输入至解码器网络中，恢复图像大小并进行特征融合，得到多维分割图；根据多维分割图与对应的标签图像之间的误差，更新编码器网络中的参数；利用训练集中的深度图像，迭代执行上述步骤，直到达到预设的训练次数；测试后输出机械装配体轻量化语义分割模型；利用训练好的机械装配体轻量化语义分割模型进行图像分割，分割出机械装配体的各零件。

技术领域

本发明涉及一种基于深度学习网络的机械装配体图像分割方法和设备，属于计算机图像识别和智能制造技术领域。

背景技术

当前制造业正迎来大批量个性化定制的生产阶段，产品类型的不断变化将增加产品手动装配的难度。在复杂机械产品装配过程中，一旦未能及时检测出装配过程中出现的错误(如装配顺序错误、漏装、错装等)，将直接影响机械产品的质量和装配效率。机械装配体图像分割，可以从机械装配体图像中精确分割出装配体的已装配零部件的轮廓和区域，得到机械装配体的相关信息，可及时发现装配过程中的错误，从而降低运营成本，缩短产品生产周期，降低不良产品率，对实现机械装配体的智能监测具有重要的研究意义。

机械装配体的图像分割属于语义分割研究领域。语义分割是通过对每一个像素进行标签值预测，从而识别出图像中的内容。随着深度学习的不断发展，语义分割已经应用到了各个领域中。在无人驾驶领域中，语义分割方法可分割车载摄像头或者激光雷达的图像，自动识别出行人，人行道，障碍物等，有助于实现自动驾驶。在地理信息领域中，语义分割方法可分割卫星遥感影像，识别出影像中的道路，河流，庄稼，建筑物等，有助于地理勘测任务的完成。在医疗影像分析领域中，语义分割方法可分割医疗图像识别出病理位置和病理种类，有助于帮助医生快速判断病情。

语义分割在机械领域，特别是在机械装配领域中的应用研究较少，主要有以下几个原因：(1)机械产品结构复杂，零件之间遮挡严重，会导致机械装配体分割不准确。(2)机械零件颜色纹理信息单一，增大了机械装配体的分割难度。(3)在机械装配体分割任务中，缺乏专用的已标注数据集，而标注数据集的质量往往决定分割模型的质量。

发明内容

为了解决上述现有技术中存在的问题，本发明提出了一种基于深度学习网络的机械装配体图像分割方法、设备及介质，用于采集装配体的深度图像，从深度图像上分割出装配体的各零部件。

本发明的技术方案如下：

技术方案一：

一种基于深度学习网络的机械装配体图像分割方法，包括以下步骤：

通过深度学习网络构建由编码器网络和解码器网络组成的机械装配体轻量化语义分割模型；

建立机械装配体数据集，建立复数个机械装配体的三维模型，并对各所述三维模型中的各零件添加标记，根据所述标记对所述三维模型进行三维渲染，得到不同角度下三维模型的深度图像和对应的标签图像；从各个三维模型中分别选取一个装配阶段的深度图像，整合为测试集，剩余的深度图像作为训练集；

特征提取，将训练集中的深度图像输入到所述编码器网络中，对所述深度图像进行特征提取，获取高信息质量的特征图；

图像分割，将所述高信息质量的特征图输入至所述解码器网络中，恢复图像大小并进行特征融合，得到多维分割图；

模型优化，根据多维分割图与对应的标签图像之间的误差，更新所述编码器网络中的可训练参数；

模型输出，利用所述训练集中的深度图像，迭代执行所述特征提取、图像分割和模型优化步骤，直到达到预设的训练次数；利用所述测试集中的深度图像对所述机械装配体轻量化语义分割模型进行验证，验证成功后保存所述机械装配体轻量化语义分割模型；