[发明专利]单臂机器人基于Kinect的无标记人手跟踪方法

说明书

技术领域

本发明涉及人机交互技术技术领域，特别涉及一种单臂机器人基于Kinect的无标记人手跟踪方法。

背景技术

计算机视觉技术以及人工智能技术的进步使得机器人能够自主执行越来越多的复杂任务。然而，在环境高度非结构化、物体外形未知以及动作未知的应用环境下，人类的智能决策对于整个遥操作方案来说还是必不可少的。人机交互方式是操作员的智能决策控制机器人运动的桥梁，是整个遥操作方案是否有效可行的关键技术。

在常见的机器人遥操作方案中，摇杆、仿机器人外形的控制器等接触式的机械设备是经常被用作操作员和机器人之间交互的工具。但是，这类控制器的最大缺点是需要操作员进行专业性的手臂动作对机器人进行控制，这就需要操作员具备一定的操作经验才能有效的对机器人进行准确的控制。

另一种遥操作方案中，人机交互方式便是采用对人手的位置和位姿进行实时跟踪的系统。这类设备有电磁跟踪设备、惯性传感器与数据手套等。这些都属于接触式的传感器；因此缺点也很明显，就是会阻碍操作员正常的手部动作。

相对于上述提到的人机交互技术，基于摄像系统的视觉交互技术有着明显的优势。由于是非接触式的，因此整个操作方式是非侵入式的，对操作员的干扰会大大减少。在人机交互、机器人和自动化、虚拟现实和增强现实及监控和生物机械学等领域，基于摄像系统的视觉交互技术都得到了研究和应用。在这类交互技术中，结合了手势识别和语音识别的控制方式让操作员能以更直观和自然的命令方式去进行控制，有效避免了接触式设备所带来的干扰。

然而，在这种控制方式下，被控机器人的动作一般是由一系列的简单命令去组成，例如旋转、上移，下移，抓取等。当被控机器人的动作复杂度要求较高的时候，要将其转化成简单命令的序列就十分困难。单摄像头的手部动作跟踪已经被应用在机器人遥操作和遥操作的模拟上。然而，动作命令只局限在真正的末端执行器自由度的子集里。此外，那些与特定的操作任务无关的手势被用来改变机器人的操作模式，这些都造成了操作任务的交流不自然。理想地，一种自然的不用将复杂的任务分解为有限指令和没有接触式物理装置限制的方法被人们所需要。

发明内容

本发明的发明目的是针对现有人机交互技术的技术不足，提供一种单臂机器人基于Kinect的无标记人手跟踪方法。

为实现上述发明目的，本发明采用的技术方案为：

提供一种单臂机器人基于Kinect的无标记人手跟踪方法，其中,Kinect为3D体感摄影机；包括以下步骤：

S1、通过3D体感摄影机获取深度图像且通过深度传感器对手臂进行识别；

S2、通过包含了手臂的深度图像分析确定食指和拇指的位置；

S3、使用差分定位方法增加食指和拇指的定位精度。

优选地，所述步骤S1包括如下步骤：

S11、设Kinect获取的深度图像D(i,j)保存三原色图像所有像素的所有深度信息；设操作者和3D体感摄影机的距离都大于T(m)，而且中间没有任何其他物体遮挡；对于深度图像D(i,j)中所有的i和j来说，操作者肢体图像C_b(i,j)满足：

   (1)；

其中，d(i,j)是深度图像D中的像素，n是d的宽，m是d的高；

S12、当操作者伸出手控制机器人时，他的手臂会比他的身体更加靠近3D体感摄影机；首先计算包括整个身体的深度值中值，得到：

  (2)；

S13、然后划分手臂的区域A(i,j)：

   (3)。

优选地，所述步骤S2包括以下步骤：

S21、拇指尖T和食指尖I的位置由包含了手臂的图像确定,且食指尖和拇指尖之间的部位为B；手臂区域A3d(x,y,z)被重构成A(i,j)；对于A(i,j)中所有二维的点(i,j)，其三维形式是：

A_3d(x,y,z)=[i,j,d(i,j)]  (4)；