[发明专利]基于Kinect摄像机的人机协作装置及方法

说明书

技术领域

本发明涉及图像处理和目标跟踪技术，特别涉及一种安全的人机协作。

背景技术

传统的研究人机交接系统，主要是依靠参与者来配合机器人的工作，而且要求试验者高度的集中精力，以免在实验的过程中发生危险，这样给试验者带来了很大的压力。

一般的跟踪技术大都是基于二维图片技术来的，以前大多数利用HMM方法来识别人手的动作，Weinland等在2007年将HMM方法和三维建模结合起来识别人的运动，由于上述是基于2维空间即使没有干扰下精度也不是很高。Wu等在2007年利用RFID方法在试验者手腕贴标签的方法来跟踪和识别。

常用来进行目标检测的方法主要有三种，包括背景相减法、光流计算法和帧差法。其中光流法的优势是在摄像机运动的情况下检测出独立运动的目标，但其抗噪性差且计算量较大，不适合实时处理；帧差法的优势是可以很好的适应动态环境，但由于位置不准确，不能很好的提取出运动目标的所有相关点；传统的背景相减法首先要在没有目标出现的场景中提取一个背景模型，并保存为背景图像，然后将当前帧与背景模型相减。 如果象素值相减的结果大于某一特定值(即阈值), 则可确定该象素点是运动目标上的某点, 否则属于背景图像。背景相减法得到的结果可以确定出目标的位置以及形状等信息,然而此方法对外界环境比如光线、天气等的变化比较敏感,同时容易受到目标运动过程阴影的影响。

传统的路径规划算法有多边形拟合法、栅格法、人工势场法、遗传算法等。但这些方法都需要在个确定的空间内对障碍物进行建模，计算复杂度与机器人自由度呈指数关系，不适合解决多自由度机器人在复杂环境中的规划。新的基于快速扩展随机树（RRT）的路径规划算法，通过对状态空间中的采样点进行碰撞检测，避免了对空间的建模，能够有效地解决高维空间和复杂约束的路径规划问题。该方法的特点是能够快速有效地搜索高维空间，通过状态空间的随机采样点，把搜索导向空白区域，从而寻找到一条从起始点到目标点的规划路径，适合解决多自由度机器人在复杂环境下和动态环境中的路径规划。

但是，基于关节空间的RRT 方法有以下的不足：

1. 基于关节空间的RRT法无法解决CP（Continue-path-problem，连续路径问题）问题和准CT问题(quasi-continuoustrajectory problem，即仅部分限定末端执行器的运动轨迹)。

2.  基于关节空间的RRT 法无法预知机械臂末端执行器运动轨迹，造成末端执行器运动与关节运动分离，不利于任务的完成。

总的来说，如果需要控制或者约束机械臂末端执行器的运动轨迹，基于关节空间的RRT 法是无能为力的。

发明内容

针对上述问题，本发明所涉及的一种基于摄像机的人机协作的装置及其方法，可以精确的对空间位置进行定位，可通过人体骨骼的提取方法可以容易的获取人体信息，可通过图像计算中的聚类方法可以精确的得到目标物的位置信息，可利用基于工作空间的快速扩展随机算法可以得到较好的壁障效果，可以为双臂机器人协作打下基础。

本发明为了实现上述目的，可以使用以下方案：

本发明提供了一种与试验员协作从而实现对目标物进行跟踪和协作的人机协作装置，其特征在于，具有：至少1个机械手，用于抓握目标物；至少1个机械臂，机械臂的底部为基座，机械臂的末端安装有机械手；至少1个摄像机，对空间位置进行立体定位，采集彩色图像信息、深度图像信息和试验员的骨骼信息；至少1个棋盘格，用于标定机械臂末端的位置；以及至少1台计算机，其中，计算机用于处理彩色图像信息、深度图像信息和骨骼信息，处理空间位置的相互关系，实现对目标物进行跟踪和与试验员进行协作，计算机与机械臂通过控制器局域网络总线连接，并且控制机械臂的运动与机械手的运动。