[发明专利]基于Openpose和Alexnet无人机姿势控制方法

权利要求书

1.一种基于Openpose和Alexnet无人机姿势控制方法，其特征是，在服务器端通过基于深度学习的实时多人二维姿态估计应用Openpose识别摄像头前操作者的人体骨架图，送入到深度学习分类网络Alexnet中进行姿势分类，根据操控者在镜头前的姿势，服务器给各个无人机发送对应的控制命令，实时控制无人机群。

2.如权利要求1所述的基于Openpose和Alexnet无人机姿势控制方法，其特征是，具体步骤如下：

步骤1，无人机群与服务器处于同一局域网下并建立连接；

步骤2，服务器的摄像头采集操控者的姿态视频，用人体姿态识别开源项目Openpose检测每一帧，得到人体关节点的坐标和骨架图，并进行归一化；

步骤3，根据步骤2中的操作，收集大量的不同操作者的10类姿势的骨架图，用caffe搭建的目标分类网路Alexnet进行训练模型；

步骤4，根据步骤3得到的模型，对测试时获取到的操作者的归一化后的骨架图进行分类；

步骤5，根据步骤4中判定的操作者的姿势类别向无人机发送相应的命令，无人机完成起飞降落向左向右行为。

3.如权利要求1所述的基于Openpose和Alexnet无人机姿势控制方法，其特征是，步骤(1)包括：

(101)无人机群通过接入点ap模式接入路由器的无线局域网中，与搭载了深度学习环境的服务器处于同一wifi环境下；

(102)服务器通过socket和多线程与不同ip地址的无人机群建立连接，其中socket为套接字，这里采用ip地址和udp网络协议的端口号表示一个进程。

4.如权利要求1所述的基于Openpose和Alexnet无人机姿势控制方法，其特征是，步骤(2)包括：

(201)采集到的视频的每一帧采用Openpose检测出人体的各个关节点keypoint_i，i＝1,2....23；

(202)如图2，以人的重心为原点，根据关节点之间的欧式距离，对每一条骨骼的长度进行归一化，各个骨骼向量为bone_k，公式如下：

其中keypoint_i和keypoint_j分别为骨骼两端的关节点坐标，a_k为两点间骨骼的长度,j＝1,2....23,k＝1,2....23；归一化使每一幅骨架图中相同部位的骨骼长度为定值，只保留方向信息，消除不同的操作者的体型差异干扰和距离摄像头远近的干扰；

(203)每一块的骨骼颜色设定不同，便于提取特征，保存归一化的骨架图。

5.如权利要求1所述的基于Openpose和Alexnet无人机姿势控制方法，其特征是，步骤(3)中分类模型的训练包括：

(301)事先收集不同的操作者的10种姿势的骨架图，并进行步骤3中的归一化，每个姿势3000张，并旋转平移操作进行图像增强；

(302)利用caffe这一深度学习工具，搭建Alexnet目标分类网络，加载它在imagenet数据集上的预训练模型，对10种姿势图进行迁移训练；

(303)训练迭代180000次，保存模型。

6.如权利要求1所述的基于Openpose和Alexnet无人机姿势控制方法，其特征是，步骤(4)包括：

(401)对测试中采集到的骨架图进行归一化，送入到搭建好的Alexnet网络中，加载模型中的权重参数进行计算。

(402)网络最后为softmax层，有10个输出，分别对应10个姿态类别的概率，选择最高概率并且概率大于95％时的类别作为最终的姿势判定。

7.如权利要求1所述的基于Openpose和Alexnet无人机姿势控制方法，其特征是，步骤(5)包括：

(501)步骤4中判定的类别如果连续出现3次以上，则通过socket多线程向无人机群中的各个端口发送此类别姿势对应的动作指令；

(502)无人机群收到指令后，做出相应的动作。