[发明专利]焊缝运动轨迹的自动示教方法和装置

权利要求书

1.一种焊缝运动轨迹的自动示教方法，其特征在于，包括：

获取待焊接物体的彩色图像和三维点云图像；

对所述彩色图像进行处理，定位出焊缝区域；

根据所述彩色图像与所述三维点云图像之间的对应关系，在所述三维点云图像中提取出焊缝区域的局部点云图像；

根据提取的所述局部点云图像确定焊缝的起点和终点。

2.根据权利要求1所述的方法，其特征在于，所述对所述彩色图像进行处理，包括：

使用卷积神经网络对所述彩色图像进行处理，所述卷积神经网络是预先训练的卷积神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述使用卷积神经网络对所述彩色图像进行处理，包括：

通过第一神经网络对所述彩色图像进行处理，得到焊缝区域在所述彩色图像中的矩形区域位置；

通过第二神经网络对所述矩形区域内的图像进行处理，得到焊缝区域。

4.根据权利要求3所述的方法，其特征在于：所述第一神经网络为物体检测神经网络，所述第二神经网络为物体分割神经网络。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述彩色图像与所述三维点云图像之间的对应关系为：像素坐标之间的对应关系。

6.根据权利要求5所述的方法，其特征在于，所述在所述三维点云图像中提取出焊缝区域的局部点云图像，包括：

将所述彩色图像的像素的坐标转换为齐次坐标形式；

根据所述彩色图像与深度图像之间的对应关系，将所述彩色图像的像素的齐次坐标转换为空间坐标；

根据相机的自身参数，将所述空间坐标转换为所述三维点云图像的像素的齐次坐标；

根据所述三维点云图像的像素的齐次坐标提取出焊缝区域的局部点云图像；

其中，所述深度图像与所述三维点云图像是通过同一个摄像头获取的。

7.根据权利要求1-4、6任一项所述的方法，其特征在于，所述根据提取的所述局部点云图像确定焊缝的起点和终点，包括：

对所述局部点云图像进行去噪处理；

对去噪处理后的图像进行平面分割，得到两个平面方程；

计算两个平面方程的交线的方程，并转化为该交线对应的向量；

定位出所述局部点云图像中沿所述向量方向的最大和最小值点；

计算出以所述向量为法向量，分别过上述最大和最小值点的两个平面；

计算出两个平面与所述交线的两个交点；

将两个交点中坐标X方向离焊接机器人较近的交点作为焊缝的起点，另一个交点作为焊缝的终点。

8.根据权利要求7所述的方法，其特征在于，所述对所述局部点云图像进行去噪处理，包括：

对所述局部点云图像进行滤波，去除其中的无效点及离群点；

对滤波后的图像进行下采样。

9.根据权利要求7所述的方法，其特征在于，所述对去噪处理后的图像进行平面分割，包括：

使用ransac算法将点云图像分割成两个平面。

10.一种焊缝运动轨迹的自动示教装置，其特征在于，包括：

获取模块，用于获取待焊接物体的彩色图像和三维点云图像；

定位模块，用于对所述彩色图像进行处理，定位出焊缝区域；

提取模块，用于根据所述彩色图像与所述三维点云图像之间的对应关系，在所述三维点云图像中提取出焊缝区域的局部点云图像；

确定模块，用于根据提取的所述局部点云图像确定焊缝的起点和终点。