[发明专利]一种基于感知增强的机械手遥操作方法及系统

说明书

本发明涉及一种基于感知增强的机械手遥操作方法及系统，属于机械手控制技术领域；其中，方法包括：识别出人手在运动过程中指尖与掌心的位置信息；将位置信息映射成机械手操作指令；接收机械手上压力传感器的压力数据，并依据压力数据控制人手处振动器的振动强度；接收布置在机械手周围两台以上的深度摄像机所获取机械手工作台的图像信息，构建3D实时操作场景。通过深度摄像头与手部标记的方式，简单快捷地获取手部运动数据，并通过压力反馈与视觉反馈增强遥操作过程的感知，使操作人员在远程控制过程中获取到更多的信息，帮助优化远程操作效果。

技术领域

本发明涉及机械手操控技术领域，具体地说，涉及一种基于感知增强的机械手遥操作方法及系统。

背景技术

近年来，随着机械手操控技术的发展，尤其是通过采集人手动作数据以模拟人手动作的机械手操控技术，使机械手在各行业具有很大的应用前景。在该类操控技术中，常通过外骨骼、数据手套等穿戴设备对人手动作数据进行采集，而这类穿戴设备的采集是基于其上的传感器，导致其售价偏高，很难实用化，尤其是民用化。

此外，随着机器人技术的快速发展，尤其是民用服务机器人及类人机器人技术，对低成本类操控技术的需求也越来越大，尤其是可对机械手进行远程控制的遥操作技术。

发明内容

本发明的目的是提供一种基于感知增强的机械手遥操作方法及系统，以较低成本实现对机械手的遥操作。

为了实现上述目的，本发明提供基于感知增强的机械手遥操作方法包括动作识别步骤、动作映射步骤、压力反馈步骤及视觉反馈步骤；其中，动作识别步骤包括识别出人手在运动过程中指尖与掌心的位置信息；动作映射步骤包括将位置信息映射成机械手操作指令；压力反馈步骤包括接收机械手上压力传感器的压力数据，并依据压力数据控制人手处振动器的振动强度；视觉反馈步骤包括接收布置在机械手周围两台以上的深度摄像机所获取机械手工作台的图像信息，构建3D实时操作场景。

在工作过程中，通过识别步骤识别出人手在运动过程中指尖与掌心的位置信息，由于是通过采集指尖、掌心的位置信息实现动作的数据化，而可使用Kinect等成本低采集设备，以降低机械手遥操技术的成本；通过动作映射步骤，将动作数据处理转换为相应的机械手操作指令，实现人类动作数据到机械手操作指令的映射，从而可对机械手进行远程操控；通过压力反馈步骤，将机械手在仿真人手抓取过程中的压力信息通过振动强度反馈给人手，以实现人类感知机械手的压力；通过视觉反馈步骤，使用两台深度摄像机获取的图像信息构建出机械手操作的3D实时场景并反馈给操作人员，以实现感知增强的机械手远程控制操作。

具体的方案为识别出人手在运动过程中指尖与掌心的位置信息的步骤包括：接收由Kinect获取人手在运动过程中的彩色图像、深度图像及骨骼数据；依据骨骼数据，获取人手掌心的位置信息；依据深度图像、彩色图像及掌心的位置信息，识别出设于人手指尖上的彩色标记，获取包括指尖三维坐标信息的人手指尖位置信息。通过在人手指尖布置颜色标记纸带等彩色标记，根据Kinect深度信息与图像信息，获取指尖三维坐标数据。

另一个具体的方案为将位置信息映射成机械手操作指令的步骤包括：依据位置信息，提取语义信息，将语义信息映射成机械手操作指令。

更具体的方案为提取语义信息的步骤包括：依据连续获取的位置信息，将人手动作归类为移动、静止、抓取及释放四种语义。有效地简化将人手位置信息映射机械手操作指令的映射算法。

另一个具体的方案为接收布置在机械手周围两台以上的深度摄像机所获取机械手工作台的图像信息，构建3D实时操作场景的步骤包括：深度摄像机为Kinect；依据Kinect获取的深度图像、彩色图像，构建不同方向的3D点云数据；据Kinect获取的深度图像、彩色图像，识别出机械手工作台上布置的标记；通过标记进行定标，将不同方向的3D点云数据融合成3D图像模型；通过ICP算法对3D图像模型进行优化。便于操作人员通过屏幕或VR眼镜观察实时3D操作场景，以实现感知增强。