[发明专利]基于RGB-D数据融合的机器人视觉引导方法和装置

说明书

本发明公开了一种基于RGB‑D数据融合的机器人视觉引导方法和装置，基于RGB‑D复合传感器，从加工目标数据采集开始，依次经过加工目标识别，加工目标分割，加工路径点获取，加工引导点转换步骤，最终获得加工引导点序列，从而减少了计算时间，满足实时处理的要求，并且降低了对软硬件的性能的要求，可以节约成本，降低开发的难度，符合对高速化大规模生产模式的要求。

技术领域

本发明涉及机器人视觉领域，特别涉及一种基于RGB-D数据融合的机器人视觉引导方法和装置。

背景技术

作为制造强国利器的自动化装备(机器人系统)必须要向高速化，智能化方向迈进。自动化装备的智能化的一个重要手段是给机器装上“眼睛”和能够与这颗眼睛配合的“大脑”。这只“眼睛”可以是单目相机，双目相机，多目相机，三维扫描仪，也可以是RGB-D(RGB+Depth)传感器。而自动化装备智能化的核心工作内容包括了：通过对这只“眼睛”所获取图像数据进行分析(例如图像识别)，再根据分析结果来引导机器人系统完成特定的加工或者装配操作。因此目前所广泛采用的基于二维图像的图像数据分析是一项关键的基础核心技术。但基于二维图像数据分析的方法很容易受到光线等外部环境因素的干扰，从而造成识别准确率较低，鲁棒性较差，并且精度也达不到要求。为了应对当前对图像数据分析的高速化和高精度的需求，能够在获取传统二维图像数据的同时也能获取不容易受到光线等外部环境因素干扰的对应二维图像数据的深度信息的RGB-D传感器得到了推广应用。通过对RGB-D传感器所获取的RGB图像数据和深度数据进行处理可以获得对应目标对象的3D数据(点云数据)。由于现有的点云分析方法存在如下所述的缺点：点云分割加工目标的方法非常耗时，不能满足当前高速生产的需要；纯粹基于3D点云和深度学习的3D加工目标定位方法的准确度太差，分辨率精度不高，不符合当前高精度加工的需要。综上所述，现有的点云分析方法的普适性不高，仅仅适用于特定的自动化加工系统。此外，由于目前还没有面向特定加工或者装配操作任务的基于RGB-D数据的关键信息引导机器人系统的研究应用。因此，本发明公开了一种基于RGB-D数据的机器人确定目标方位的方法和装置，从而提供能够满足当前加工所需要的加工目标检测精度需要，并适用于加工目标工件的视觉引导方法和装置。

发明内容

本发明的主要目的在于提供一种基于RGB-D数据融合的机器人视觉引导方法和装置，旨在解决现有的点云分割加工目标的方法非常耗时，不能满足当前高速生产的需要，并且纯粹基于3D点云和深度学习的3D加工目标定位方法的准确度太差，分辨率精度不高，不符合当前高精度加工的需要，以及现有的点云分析方法的普适性不高，仅仅适用于特定的自动化加工系统的这些技术问题。针对这些缺点，本发明的目的是提供能够满足当前加工所需要的加工目标检测精度需要，并适用于加工目标工件的目标方位识别方法和装置能够满足当前加工目标检测和加工需要的，精度满足中等精度需要，适用于加工目标的工件的视觉引导方法和装置。

为解决上述问题，本发明提供的基于RGB-D数据融合的机器人视觉引导方法，包括：

步骤1、通过RGB-D复合传感器获取包含待加工目标的RGB二维图像和深度数据，依据所述RGB-D复合传感器的预设的配准参数将所述RGB二维图像与所述深度数据进行配准处理，从而生成对应所述RGB二维图像的配准二维图像I_RGB和对应所述深度数据的配准深度数据I_D；

步骤2、使用通过预先训练好的图像分割模型从作为输入的所述配准二维图像I_RGB之中分割出对应所述待加工目标的区域S_RGB，依据所述区域S_RGB从所述配准深度数据I_D提取所述待加工目标的3D点云数据S_3D；