[发明专利]基于Openpose和Alexnet无人机姿势控制方法

说明书

本发明涉及人机交互领域，为提出无人机姿势控制方法。为此，本发明采取的技术方案是，基于Openpose和Alexnet无人机姿势控制方法，在服务器端通过基于深度学习的实时多人二维姿态估计应用Openpose识别摄像头前操作者的人体骨架图，送入到深度学习分类网络Alexnet中进行姿势分类，根据操控者在镜头前的姿势，服务器给各个无人机发送对应的控制命令，实时控制无人机群。本发明主要应用于无人机姿态控制场合。

技术领域

本发明涉及人机交互领域，特别涉及一种基于Openpose和Alexnet无人机姿势控制系统方法。

背景技术

姿势识别是目前流行的人机交互方式，在控制领域也得到了较为广泛的应用，采用姿势识别控制无人机群，可以大大简化用户的操作。现有技术中已经有的姿势识别对无人机进行远程控制的方法主要分为两类，一类是传感器的方法，通过佩戴一些装置来进行姿态识别，对无人机进行远程控制，这类方法虽然在一定程度上能提高识别的准确性，但是采用这种方法会加大对硬件的要求，使得硬件成本增加。

另外一类是基于视觉的方法，大多采用的是传统的图像处理方法，很多情况下抗干扰性差，准确率较低。

因此需要一种硬件要求较低，识别准确的方法。

发明内容

为克服现有技术的不足，本发明旨在提出无人机姿势控制方法。为此，本发明采取的技术方案是，基于Openpose和Alexnet无人机姿势控制方法，在服务器端通过基于深度学习的实时多人二维姿态估计应用Openpose识别摄像头前操作者的人体骨架图，送入到深度学习分类网络Alexnet中进行姿势分类，根据操控者在镜头前的姿势，服务器给各个无人机发送对应的控制命令，实时控制无人机群。

具体步骤如下：

步骤1，无人机群与服务器处于同一局域网下并建立连接；

步骤2，服务器的摄像头采集操控者的姿态视频，用人体姿态识别开源项目Openpose检测每一帧，得到人体关节点的坐标和骨架图，并进行归一化；

步骤3，根据步骤2中的操作，收集大量的不同操作者的10类姿势的骨架图，用caffe搭建的目标分类网路Alexnet进行训练模型；

步骤4，根据步骤3得到的模型，对测试时获取到的操作者的归一化后的骨架图进行分类；

步骤5，根据步骤4中判定的操作者的姿势类别向无人机发送相应的命令，无人机完成起飞降落向左向右行为。

步骤(1)包括：

(101)无人机群通过接入点ap模式接入路由器的无线局域网中，与搭载了深度学习环境的服务器处于同一wifi环境下；

(102)服务器通过socket和多线程与不同ip地址的无人机群建立连接，其中socket为套接字，这里采用ip地址和udp网络协议的端口号表示一个进程。

步骤(2)包括：

(201)采集到的视频的每一帧采用Openpose检测出人体的各个关节点keypoint_i，i＝1,2....23；

(202)如图2，以人的重心为原点，根据关节点之间的欧式距离，对每一条骨骼的长度进行归一化，各个骨骼向量为bone_k，公式如下：

其中keypoint_i和keypoint_j分别为骨骼两端的关节点坐标，a_k为两点间骨骼的长度,j＝1,2....23,k＝1,2....23；归一化使每一幅骨架图中相同部位的骨骼长度为定值，只保留方向信息，消除不同的操作者的体型差异干扰和距离摄像头远近的干扰；