[发明专利]一种基于RGB-D相机的数控NC代码虚实验证方法

权利要求书

1.一种基于RGB-D相机的数控NC代码虚实验证方法，其特征在于，包括以下步骤：

S10、标定RGB-D相机中彩色相机和深度相机的内部参数，并计算所述彩色相机和所述深度相机之间外部参数，根据所述内部参数和所述外部参数建立彩色像素和深度像素之间的映射模型；

S20、用冗余标记定义工件坐标系；将标记放到机床工作台上，所述标记作为特征点；所述RGB-D相机对所述标记采集图像；

S30、从采集图像中提取出所述特征点的像素坐标；

S40、根据所述特征点的像素坐标和所述特征点在工件坐标系下的坐标求解工件坐标系到彩色相机坐标系的位姿变换矩阵T；对位姿变换矩阵T中的旋转角参数进行校正；

S50、使用所述RGB-D相机对机床刀具中心图像采集；根据所述映射模型计算彩色图像中刀具中心的像素坐标对应的深度像素坐标，在深度图像上根据刀具像素的深度信息修正刀具中心点的像素坐标，并根据所述映射模型计算像素点对应的深度相机坐标系坐标和彩色相机坐标系坐标；使用步骤S40中校正后的位姿变换矩阵T将刀具中心的彩色相机坐标系坐标转换成工件坐标系坐标，再结合刀具模型得到刀具底部端面中心在工件坐标系下的坐标；

S60、基于卷积神经网络构建机床刀具位置检测的神经网络；使用训练集对所述神经网络进行训练，所述训练集为步骤S50中采集得到刀具中心图像及对应的刀具底部端面中心在工件坐标系下的坐标；使用步骤S50中标记过的刀具图像对所述神经网络进行参数训练；

S70、将训练后的卷积神经网络用于定位彩色图像中刀具中心的像素坐标并实时计算当前刀具的工件坐标系坐标；

S80、在机床输入NC代码和设置虚拟工件尺寸信息，工件的默认位置与工件坐标系重合；

S90、根据步骤S70得到的实时计算当前刀具的工件坐标系坐标结合步骤S80所输入的NC代码，验证刀具是否在NC代码指定的刀具路径上进行加工。

2.根据权利要求1所述的数控NC代码虚实验证方法，其特征在于，步骤S40利用位姿传感器对位姿变换矩阵T中的旋转角参数进行校正。

3.根据权利要求1所述的数控NC代码虚实验证方法，其特征在于，步骤S60中建机床刀具位置检测的神经网络为面向机床铣刀刀具位置检测的卷积神经网络。

4.根据权利要求3所述的数控NC代码虚实验证方法，其特征在于，步骤S70中采用训练后的卷积神经网络预测彩色图像中铣刀刀具中心的位置和刀具包围盒，将包围盒几何中心的像素坐标作为刀具在彩色图像中的位置。

5.根据权利要求4所述的数控NC代码虚实验证方法，其特征在于，在步骤S90中，步骤S70得到的实时计算铣刀的工件坐标系坐标，得到铣刀位置信息，与机床NC代码进行交叉验证，通过增强现实的人机交互方式来实时仿真刀具铣削工件的过程，实现虚实仿真。

6.根据权利要求5所述的数控NC代码虚实验证方法，其特征在于，对当前刀具位置进行实时监视，同时计算刀具位置与NC指定刀具路径的误差距离，如果误差超出设定值就认为刀具没有按照NC代码运动，给出警报；如果误差未超出设定值则根据得到的刀具位置信息对虚拟工件进行加工仿真。

7.根据权利要求1所述的数控NC代码虚实验证方法，其特征在于，步骤S60中对所述机床刀具检测的卷积神经网络构建过程如下：结合RGB-D相机采集的彩色图像尺寸设计卷积神经网络的输入尺寸，并考虑目标检测的准确率和实时性设计网络的结构。

8.根据权利要求7所述的数控NC代码虚实验证方法，其特征在于，所述机床刀具检测的卷积神经网络的主干网络中含有6层卷积层，6层卷积层的卷积核尺寸都是3×3，卷积运算时的步长都是1，6个卷积层的卷积核个数分别为16、32、64、128、256。

9.根据权利要求8所述的数控NC代码虚实验证方法，其特征在于，所述机床刀具检测的卷积神经网络的主干网络中含有5层池化层，其中第一层池化层的步长为5，第二层池化层的步长为3，其余池化层的步长都为2。

10.根据权利要求9所述的数控NC代码虚实验证方法，其特征在于，所述机床刀具检测的卷积神经网络最后用两层卷积核大小1×1的卷积。