[发明专利]基于手势和眼动的无人机控制方法和系统

说明书

本发明公开了一种基于手势和眼动的无人机控制方法，包括：数据手套将运动手势信息发送到混合现实眼镜；混合现实眼镜根据接收到的运动手势信息控制无人机飞行；无人机将视频流数据发送到混合现实眼镜；混合现实眼镜对接收到的视频流数据中的物体进行分类以及目标检测；数据手套将目标锁定手势信息发送到混合现实眼镜；混合现实眼镜根据接收到的目标锁定手势信息，锁定并标注目标。本发明的无人机控制方法，结合可穿戴的数据手套和混合现实眼镜，可以精确的控制无人机检测和锁定目标，而且基于混合现实环境进一步加强了虚拟现实环境体验感。

技术领域

本发明涉及人机交互技术领域，特别涉及一种基于手势和眼动的无人机控制方法和系统。

背景技术

随着计算机硬件和传感器在尺寸和价格上不断降低，越来越多的物体具有计算和传感能力，人机交互技术改变着我们的生活和工作，其中最主要的交互方式就是手势交互和眼动交互。

现有技术中，有的采用手势交互，有的采用眼动交互，而手势交互和眼动交互各有优缺点，眼动交互的缺点是精度较低，特别是在人员调整佩戴混合现实设备后，眼动交互只能定位到局部区域，而不能精确定位到交互点，手势交互的缺点是用户体验不够便捷和智能，例如有些方案采用的是基于图像的手势识别，分别对应多个键盘字符的方式进行输入，这种方式不仅需要光线非常好的环境条件，而且按键识别时每根手指会覆盖多个键盘字符，导致确定某个字符的时候准确率低，输入效率也很低。

因此，仅基于手势交互和眼动交互的单模态混合现实交互方式单一，准确率较低，而且用户体验感较差。

发明内容

本公开实施例提供了一种基于手势和眼动的无人机控制方法和系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本公开实施例提供了一种基于手势和眼动的无人机控制方法，用于混合现实眼镜，包括：

接收数据手套发送的运动手势信息；

识别运动手势信息，得到无人机控制指令；

将无人机控制指令发送到无人机；

接收无人机发送的视频流数据；

对视频流数据中的物体进行分类以及目标检测。

进一步地，对视频流数据中的物体进行分类以及目标检测之后，还包括：

接收数据手套发送的目标锁定手势信息；

识别目标锁定手势信息，得到目标锁定指令；

根据目标锁定指令锁定并标注目标。

建立无人机飞行过程点云图；

在点云图中标注目标。

进一步地，在点云图中标注目标之后，还包括：

接收数据手套发送的切换点云界面的手势信息；

识别切换点云界面的手势信息，得到切换点云界面的指令；

根据切换点云界面的指令将显示界面切换为点云图。

进一步地，根据切换点云界面的指令将显示界面切换为点云图之后，还包括：

接收数据手套发送的调用虚拟键盘的手势信息，

根据调用虚拟键盘的手势信息，在目标处显示文本框；

接收数据手套发送的键盘字符输入手势信息；

根据键盘字符输入手势信息，在文本框中输入识别出的字符。