[发明专利]一种仿人机械手抓取控制系统及其数据处理方法

说明书

本发明公开了一种仿人机械手抓取控制系统及其数据处理方法，包括：设备模块，包括21自由度五指仿人机械手、6自由度机械臂、数据手套、摄像头、虚拟手仿真平台；数据获取模块，主要负责采集图片和数据手套数据；数据处理模块，主要负责对采集到的图片和数据进行分析和处理，其中包括待抓取物体识别模块和抓取方案生成模块；控制模块，用于控制机械臂和五指仿人进行物体抓取，其中包括指令直接控制和数据手套在线控制。本发明将深度学习目标识别与五指仿人机械手抓取控制相结合，借助仿真虚拟手可及时展示仿人机械手抓取控制效果，使抓取控制更智能和直观。

技术领域

本发明涉及深度学习和仿人机械手抓取的技术领域，尤其是指一种仿人机械手抓取控制系统及其数据处理方法。

背景技术

仿人机械手出现迄今已有50多年的发展历史，但其实用化至今仍然存在着许多挑战，还必须要进一步地攻克整个仿人机械手在机构、模型、触觉、控制、示教、交互、协调、作业中存在的一系列关键难题。目前，大多数机器人的机械手都是针对特定作业设计的，它们均存在着灵活性和适应性及精密性等较差的缺点。因此，需要研制出一种能像人手及手臂一样完成高端和灵巧及精密作业的仿人机械手。对于仿人机械手而言，其最主要的功能是辅助人手在复杂环境中完成对目标物体的一系列作业任务，抓取是仿人机械手最基本的功能。传统的仿人机械手的常用控制方法需要先对它们的运动和作业进行轨迹规划，在抓取作业中需要提前获得目标物体的三维模型，或者基于目标模板匹配的方式规划抓取姿态，这导致仿人机器人在非结构环境下的自主抓取能力不足。研究出一种基于视觉且能在非机构化环境下实现的仿人机械手自主抓取技术是非常必要的，这对于提升机器人作业能力，人机交互能力都是十分重要的。

目前，智能机器人的作业控制方法研究主要集中在仿人机械手的功能和协作方面。实际上，许多国家一直都在开展仿人机械手研究，希望用其代替传统的末端夹持器和工业机械臂在高端、繁重、恶劣、危险环境中完成等各种复杂的生产或服务。如日本就开发了三指仿人机械手Okada，犹他大学与MIT联合开发了Utah/MIT 4指仿人机械手，以及Stanford/JPL手、UB-Ⅱ手、Robonaut手等。近年来仿人机械手在灵巧程度和触觉感知上有了更大的改进，如Shadow公司开发的24自由度的Shadow手；日本Gifu大学以人形机器人和康复医疗为需求背景研制的Gifu-Ⅱ手；Barrett公司的BH8系列三指机械手。此外，越来越多的仿人机械手投入商用尤其是医学的助残领域，这类仿人机械手的灵活度更大，且手指的触觉感知功能更强，能够很好地配合人完成人手的部分功能动作。如最早投入商用的由苏格兰公司Touch Bionicsi公司制造的LIMB手和LIMBplus手；Vincent公司推出了Vincent手，能够辅助人完成人手动作。

随着近年来机器学习和深度学习算法的广泛应用，基于视觉的仿人机械手抓取研究逐渐从抓取规划算法研究转换为对视觉图像中目标物体检测算法研究。传统的目标物体检测算法一般基于3D立体视觉和一些机器学习的分类算法，而深度卷积神经网络如AlexNet、ResNet、LeNet、VGGNet等对目标良好的分类能力使其被广泛应用于视觉计算当中。目前的一些神经网络的分类能力甚至超过人类的识别能力。将深度学习引入仿人机械手抓取研究中，很好地解决了目标图像的特征提取问题，其可以自动提取抓取目标特征并判断待抓取物体类别。此外，神经网络还可用于目标最优抓取区域的判断，优化仿人机械手对于目标的抓取方式，使得仿人机械手的抓取更加智能化和合理化。深度学习精准的目标识别和定位能力，配合机械臂带动五指仿人机械手运动到目标位置处，配合数据手套控制仿人机械手则可以实现对仿人机械手的远程在线抓取操控。这对于在复杂环境下操控仿人机械手完成人所不能完成的抓取任务提供了可能性，对于机器人的自主抓取领域研究具有重要意义。

发明内容