[发明专利]基于3D视觉传感器的双臂机器人控制方法及系统

说明书

本发明涉及机器人控制技术领域，具体公开一种基于3D视觉传感器的双臂机器人控制方法，包括以下步骤：S1、通过3D视觉传感器获取手臂骨骼点的深度图像；S2、对所述深度图像进行分析，得到手臂骨骼点的位置信息；S3、根据所述深度图像中手臂骨骼点的位置信息，获取所述深度图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；S4、将所述手臂骨骼的旋转角度发送给机器人控制器，所述控制器控制机器人执行对应动作。本发明有效的解决了现有通过鼠标和键盘、示教盒或穿戴设备等控制方式中存在的各种问题的技术效果。

技术领域

本发明涉及机器人控制技术领域，特别涉及一种基于3D视觉传感器的双臂机器人控制方法及系统。

背景技术

目前的双臂机器人多是采用鼠标、键盘、操纵杆或示教盒一类的外部设备来对机器人进行控制，但是此类方法操作起来非常繁琐，人机交互性比较差。另外，使用一些穿戴设备来控制机器人的造价又比较昂贵。因此，摆脱传统通过外部设备控制机器人的方法的问题成为了亟需解决的问题。

发明内容

本发明旨在克服现有双臂机器人采用外部设备控制双臂，操作繁琐、交互性差的技术缺陷，提供一种基于3D视觉传感器的双臂机器人控制方法。

为实现上述目的，本发明采用以下技术方案：

一方面，本发明提供一种基于3D视觉传感器的双臂机器人控制方法，具体包括以下步骤：

S1、通过3D视觉传感器获取手臂骨骼点的图像；

S2、对所述图像进行分析，得到手臂骨骼点的位置信息；

S3、根据所述图像中手臂骨骼点的位置信息，获取所述图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；

S4、将所述手臂骨骼的旋转角度发送给机器人控制器，所述控制器控制机器人执行与所述手臂所对应的动作。

一些实施例中，所述3D视觉传感器包括RGB摄像机，红外线发射装置及用于接收红外线的摄像机。

一些实施例中，所述3D视觉传感器所获取的图像包括深度图像及彩色图像。

一些实施例中，步骤S2还包括以下步骤：

通过背景相减从所述图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。

一些实施例中，所述步骤S3包括以下步骤：

根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋转角度；根据所述前后帧的肩骨骼点的相对位置信息，计算肩骨骼点两个自由度的旋转角度。

此外，本发明还公开了一种基于3D视觉传感器的双臂机器人控制系统，包括以下模块：

3D视觉传感器，用于获取手臂骨骼点的图像；

图像分析模块，用于所述图像进行分析，得到手臂骨骼点的位置信息，以及根据所述图像中手臂骨骼点的位置信息，获取所述图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；

机器人控制器，用于接收所述手臂骨骼的旋转角度信息，执行与所述手臂所对应的动作。

一些实施例中，所述图像分析模块，用于通过背景相减从所述图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。

一些实施例中，所述图像分析模块，还用于根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋转角度，以及根据所述前后帧的肩骨骼点的相对位置信息，计算肩骨骼点两个自由度的旋转角度。