[发明专利]一种基于感知增强的机械手遥操作方法及系统

权利要求书

1.一种基于感知增强的机械手遥操作方法，其特征在于：

动作识别步骤，识别出人手在运动过程中指尖与掌心的位置信息；具体而言，接收由Kinect获取人手在运动过程中的彩色图像、深度图像及骨骼数据；依据骨骼数据，获取人手掌心的位置信息；依据深度图像、彩色图像及掌心的位置信息，识别出设于人手指尖上的彩色标记，获取包括指尖三维坐标信息的人手指尖位置信息；

动作映射步骤，将位置信息映射成机械手操作指令；具体而言，依据连续获取的位置信息，将人手动作归类为移动、静止、抓取及释放四种语义，再将语义信息映射成机械手操作指令；

压力反馈步骤，接收机械手上压力传感器的压力数据，并依据压力数据控制人手处振动器的振动强度；其中压力传感器被布置在机械爪的指尖；

视觉反馈步骤，接收布置在机械手周围两台以上的深度摄像机所获取机械手工作台的图像信息，构建3D实时操作场景；具体而言，所述深度摄像机为Kinect；依据Kinect获取的深度图像、彩色图像，构建不同方向的3D点云数据；依据Kinect获取的深度图像、彩色图像，识别出机械手工作台上布置的标记；通过标记进行定标，将不同方向的3D点云数据融合成3D图像模型；通过ICP算法对3D图像模型进行优化。

2.一种基于感知增强的机械手遥操作系统，其特征在于，包括：

动作识别单元，包括用于获取人手位置信息的Kinect；

视觉反馈单元，包括获取机械手工作台图像信息的两台以上的深度摄像机；

压力反馈单元，包括获取机械手压力的压力传感器及设于人手上的振动器；其中,压力传感器被布置在机械爪的指尖；

控制单元，包括与Kinect、深度摄像机、压力传感器及振动器通讯连接的处理器；

所述处理器用于：

依据骨骼数据获取人手掌心的位置信息；

依据深度图像、彩色图像及掌心的位置信息，识别出设于人手指尖上的彩色标记，获取包括指尖三维坐标信息的人手指尖位置信息；

依据连续获取的人手掌心与指尖的位置信息，将人手动作归类为移动、静止、抓取及释放四种语义，并将从位置信息中提取的语义信息映射成机械手操作指令；

接收压力传感器的压力数据并依据该压力数据控制振动器的振动强度；

接收深度摄像机所获取的图像信息，构建3D实时操作场景。