[发明专利]基于手势和眼动的无人机控制方法和系统

权利要求书

1.一种基于手势和眼动的无人机控制方法，用于混合现实眼镜，其特征在于，包括：

获取用户眼部图像；对所述眼部图像进行特征提取，得到眼部特征数据；将提取到的眼部特征数据输入预先训练的眼动识别模型，得到用户的注视点；在显示界面实时显示用户的注视点；

接收数据手套发送的运动手势信息；

识别所述运动手势信息，得到无人机控制指令；

将所述无人机控制指令发送到无人机；

接收无人机发送的视频流数据；

对所述视频流数据中的物体进行分类以及目标检测。

2.根据权利要求1所述的方法，其特征在于，对所述视频流数据中的物体进行分类以及目标检测之后，还包括：

接收数据手套发送的目标锁定手势信息；

识别所述目标锁定手势信息，得到目标锁定指令；

根据所述目标锁定指令锁定并标注目标；

建立无人机飞行过程点云图；

在所述点云图中标注所述目标。

3.根据权利要求2所述的方法，其特征在于，在所述点云图中标注所述目标之后，还包括：

接收数据手套发送的切换点云界面的手势信息；

识别所述切换点云界面的手势信息，得到切换点云界面的指令；

根据所述切换点云界面的指令将显示界面切换为点云图。

4.根据权利要求3所述的方法，其特征在于，所述根据所述切换点云界面的指令将显示界面切换为点云图之后，还包括：

接收数据手套发送的调用虚拟键盘的手势信息，

根据所述调用虚拟键盘的手势信息，在所述目标处显示文本框；

接收数据手套发送的键盘字符输入手势信息；

根据所述键盘字符输入手势信息，在所述文本框中输入识别出的字符。

5.一种基于手势和眼动的无人机控制系统，其特征在于，包括：

数据手套，用于将运动手势信息发送到混合现实眼镜，用于将目标锁定手势信息发送到混合现实眼镜，用于将切换点云界面的手势信息发送到混合现实眼镜，用于将调用虚拟键盘的手势信息发送到混合现实眼镜，用于将键盘字符输入手势信息发送到混合现实眼镜；

无人机，用于接收控制指令，用于将视频流数据发送到混合现实眼镜；

混合现实眼镜，用于获取用户眼部图像；对所述眼部图像进行特征提取，得到眼部特征数据；将提取到的眼部特征数据输入预先训练的眼动识别模型，得到用户的注视点；在显示界面实时显示用户的注视点；根据接收到的运动手势信息控制无人机飞行，用于对接收到的视频流数据中的物体进行分类以及目标检测，用于根据接收到的目标锁定手势信息，锁定并标注目标，用于建立无人机飞行过程点云图，并在所述点云图中标注所述目标，用于根据所述切换点云界面的手势信息，将显示界面切换为点云图，用于根据所述调用虚拟键盘的手势信息，在所述目标处显示文本框，用于根据所述键盘字符输入手势信息，在所述文本框中输入识别出的字符。

6.根据权利要求5所述的系统，其特征在于，所述数据手套包括发送模块、电源模块、第一滤波降噪模块以及手势信息检测模块；所述混合现实眼镜包括显示模块、点云模块、目标检测模块、电源模块、通信模块、数据处理模块、第二滤波降噪模块以及视线追踪模块。