[发明专利]基于机器视觉的铸件飞边识别方法及存储介质

权利要求书

1.基于机器视觉的铸件飞边识别方法，其特征在于，所述基于机器视觉的铸件飞边识别方法包括以下，

离线部分，具体包括，

制作形成铸件飞边点云语义分割数据集，

根据所述铸件飞边点云语义分割数据集进行点云语义分割网络的构建以及训练，

训练完成后得到点云语义分割模型；

在线部分，具体包括，

获取目标铸件点云，

通过所述点云语义分割模型进行点云语义分割预测，分别得到铸件、地面和飞边的相关分割结果，

将所述铸件、地面和飞边的相关分割结果输入机器人，以指导所述机器人进行后续的打磨规划操作；

上述制作形成铸件飞边点云语义分割数据集，具体包括以下，

利用CAD犀牛软件对采集的多个不同的铸件模型的点云进行标注得到标注后的数据，将标注后的数据分成训练集以及测试集得到铸件飞边点云语义分割数据集；

所述标注的过程具体包括，

导入铸件模型，选择相应的待标注区域，对所述待标注区域进行标签赋值，重复上述过程直到标注完成，保存相应的标签；

上述根据所述铸件飞边点云语义分割数据集进行点云语义分割网络的构建以及训练包括以下，

构建点云语义分割神经网络，对所述训练集中的每个点云模型进行读取，作为神经网络的输入，将标签数据与神经网络的输出通过交叉熵损失函数，计算出损失值，通过反向传播更新网络参数，如果模型收敛，即损失值稳定到最低值，则对模型进行测试并进行网络参数的保存，可直接用于在线预测分割，否则，继续将训练集输入神经网络，直至网络收敛，保存网络参数，最终得到训练好的点云语义分割网络。

2.根据权利要求1所述的基于机器视觉的铸件飞边识别方法，其特征在于，所述点云语义分割网络的构建以及训练具体通过以下实现，

通过MAX-FPS模块进行采样，提高网络采样过程的针对性，同时利用X-Conv模块以及GAC模块进行特征提取，形成M-X-GAC模块，提高网络的特征丰富度，再利用L-NL模块进行上采样，最终，将采样过程中最大化的特征与最终特征进行融合，经过多层感知机MLP，得到最终的预测结果。

3.根据权利要求2所述的基于机器视觉的铸件飞边识别方法，其特征在于，具体的，在MAX-FPS模块中，输入为输入点PL以及对应的特征FL，输出为采样点PL+1及对应的特征FL+1、中间特征Fpn以及最大化后的特征Fpn-max，首先，将输入点通过多层感知机进行特征升维，然后，利用最大值函数，取得激活处的点，再利用最远点采样算法对采样点进行补充，得到最终采样的点，同时，输出经过索引后的中间特征Fpn以及最大化后的特征Fpn-max，将特征融入后续特征，利用反向传播，让网络学习到更有利于点云识别的激活点，整体算法如下所示：

输入：P_L，F_L

输出：P_L+1，F_L+1，F_pn，F_pn-max 采样点及对应特征

1：F_pn＝MLP_U(P_L) 对输入点进行特征升维

2：F_pn-max，idx_s＝max(F_pn) 对F_pn取最大值

3：P_L+1，idx＝FPS(P_L，idx_s) 利用最远点算法对采样点进行扩充

4：F_L+1＝index(F_L，idx) 根据索引进行特征选取

5：F_pn＝index(MLPD(F_pn)，idx) 先降维，根据索引进行特征选取。