[发明专利]面向多自由度机器人的手势交互方法、系统、装置及介质

说明书

本发明公开了一种面向多自由度机器人的手势交互方法及系统，其中方法包括以下步骤：获取手势视频；从所述手势视频的视频帧中获取手势图像；根据手势图像识别出手势语义信息或手部姿态信息；基于当前的控制模式，根据手势语义信息或手部姿态信息获取控制机器人的控制指令；所述手势语义信息用于基本移动方向或基本姿态角的控制；所述手部姿态信息用于任意移动方向的控制或任意姿态的映射。本发明通过集成手部姿态估计和手势语义识别功能，实现对对机器人末端位置和姿态更加灵活的控制；另外，无需穿戴或手持传感器，用户交互体验更好，可广泛应用于人机交互技术领域。

技术领域

本发明涉及人机交互技术领域，尤其涉及一种面向多自由度机器人的手势交互方法及系统。

背景技术

人机交互接口是人类将控制意图传递给机器人的中介，随着多自由度机器人的广泛应用，对交互方式的自然性和通用性、位置和姿态控制的精确性和快速性的综合平衡日益成为人机交互系统的基本要求。

多自由度机器人需要面对搬运、装配、涂胶、焊接、打磨等各种各样的生产任务，对机器人末端的位置和姿态的控制精度要求也不同。搬运、装配一类任务一般只对轨迹起始和终止位置的机器人末端位置和姿态精度有较高要求；而涂胶、焊接、打磨一类任务则对机器人运行轨迹全程的末端位置和姿态都有较高的精度要求。在有些作业场景中(比如汽车框架焊接)，机器人末端需要在一个受限的狭窄空间中完成相关操作，这对机器人末端位置和姿态的控制精度提出了更高要求。此外，在一些高温、高湿、高压、有毒的极限环境中，人类不能直接进入，这就需要交互方式能够支持遥控操作。

对多自由度机器人的交互控制主要涉及末端的位置和姿态两个方面。目前广泛使用的通过示教器对机器人进行编程还是一种“以机器为中心”的人机交互模式，不能满足人类意图自然表达的需求。拖动示教通过手持牵引机器人以某种固定或变化的姿态沿特定轨迹移动，同时记录移动过程中的位姿数据，以直观方式对机器人进行示教；但是，拖动示教需要机器人本体能够拖动，手持拖动的精度难以把控，而且拖动不是一种可遥控的操作。语音和手势是人类在日常生活中普遍使用的交互方式，但是语音对于快速人机交互控制中常用的任意方向和任意姿态的描述能力较差，而手势则在这方面具有天然优势。

基于手势的交互方式主要包括基于手势轨迹跟随、基于手势语义、基于手势姿态等。基于手势轨迹跟随的方式通过让机器人末端跟随人手的移动轨迹运动来实现机器人的控制；基于手势语义的方式通过识别手势语义，让机器人执行预定义的相应动作实现机器人控制；基于手部姿态的方式从手部姿态中提取出方向指示信息或直接通过姿态映射的方式实现机器人运动方向和姿态的控制。以上三种方式各有其优缺点：基于手势轨迹跟随的方式表达自然，可以表示连续的轨迹和姿态，但是受限于手部动作影响，轨迹精度对于工业机器人来说是不够的，需要大量的后续处理；基于手势语义的方式需要进行动作分解，而且手势的种类不能太多，以免造成识别精度下降和用户记忆负担过重，但是手势语义适合用于位置和姿态的精细微调；基于手部姿态的方式适合方向和姿态的快速交互，但是受人类表达和机器感知能力的限制，在精度方面有所欠缺。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种面向多自由度机器人的手势交互方法及系统。

本发明所采用的技术方案是：

一种面向多自由度机器人的手势交互方法，包括以下步骤：

获取手势视频；

从所述手势视频的视频帧中获取手势图像；

根据手势图像识别出手势语义信息或手部姿态信息；

基于当前的控制模式，根据手势语义信息或手部姿态信息获取控制机器人的控制指令；

所述手势语义信息用于基本移动方向或基本姿态角的控制；

所述手部姿态信息用于任意移动方向的控制或任意姿态的映射。