[发明专利]基于机器视觉的铸件飞边识别方法及存储介质

说明书

本发明公开了基于机器视觉的铸件飞边识别方法及存储介质，利用多个固定的RGB‑D相机获取铸件的深度图，将深度图转化为点云，利用坐标变换，将点云进行拼接，形成完整的多视角点云，并基于CAD犀牛软件进行二次开发，对多视角点云进行标记，构建点云的数据集。接着通过融合多个模块算法，构建点云语义分割网络，对采集铸件点云的数据集进行训练，获取网络权重并保存。利用所述的点云语义分割网络，可以实现对铸件飞边的准确识别，将飞边的空间信息传达给机械臂，以进行后续打磨操作。该方法替代传统人工干预的作用，降低了人为因素造成的加工失误，提高了生产效率。

技术领域

本公开涉及计算机视觉技术领域，具体涉及基于机器视觉的铸件飞边识别方法及存储介质。

背景技术

飞边又称溢边、披锋、毛刺等，大多发生在模具的分合位置上，如动模和静模的分型面，滑块的滑配部位、镶件的绝隙、顶杆孔隙等处，飞边在很大程度上是由于模具或机台锁模力失效造成。一般来讲，由于各种因素的影响，塑件绝对不产生飞边是不可能的。

传统检测飞边的方式往往是通过有经验的人员结合经验进行观察检测，之后对检测到的飞边进行打磨处理，但是人工的话受到人为因素的影响较大，容易出现加工失误，进而影响产品质量以及生产效率。

发明内容

本公开旨在至少解决上述问题之一，提供基于机器视觉的铸件飞边识别方法及存储介质。

为了实现上述目的，根据本公开的一方面，提供基于机器视觉的铸件飞边识别方法，所述基于机器视觉的铸件飞边识别方法包括以下，

离线部分，具体包括，

制作形成铸件飞边点云语义分割数据集，

根据所述铸件飞边点云语义分割数据集进行点云语义分割网络的构建以及训练，

训练完成后得到点云语义分割模型；

在线部分，具体包括，

获取目标铸件点云，

通过所述点云语义分割模型进行点云语义分割预测，分别得到铸件、地面和飞边的相关分割结果，

将所述铸件、地面和飞边的相关分割结果输入机器人，以指导所述机器人进行后续的打磨规划操作。

进一步，上述制作形成铸件飞边点云语义分割数据集，具体包括以下，

利用CAD犀牛软件对采集的多个不同的铸件模型的点云进行标注得到标注后的数据，将标注后的数据分成训练集以及测试集得到铸件飞边点云语义分割数据集；

所述标注的过程具体包括，

导入铸件模型，选择相应的待标注区域，对所述待标注区域进行标签赋值，重复上述过程直到标注完成，保存相应的标签。

进一步，上述根据所述铸件飞边点云语义分割数据集进行点云语义分割网络的构建以及训练包括以下，

构建点云语义分割神经网络，对所述训练集中的每个点云模型进行读取，作为神经网络的输入，将标签数据与神经网络的输出通过交叉熵损失函数，计算出损失值，通过反向传播更新网络参数，如果模型收敛，即损失值稳定到最低值，则对模型进行测试并进行网络参数的保存，可直接用于在线预测分割，否则，继续将训练集输入神经网络，直至网络收敛，保存网络参数，最终得到训练好的点云语义分割网络。

进一步，所述点云语义分割网络的构建以及训练具体通过以下实现，

通过MAX-FPS模块进行采样，提高网络采样过程的针对性，同时利用X-Conv模块以及GAC模块进行特征提取，形成M-X-GAC模块，提高网络的特征丰富度，再利用L-NL模块进行上采样，最终，将采样过程中最大化的特征与最终特征进行融合，经过多层感知机MLP，得到最终的预测结果。