[发明专利]一种基于手势识别的无人机航迹指引方法

摘要

本发明公开了一种基于手势识别的无人机航迹指引方法，通过使用协同神经网络(Synergetic Neural Network，SNN)的方法构建神经网络，通过采集大量的无人机操作指引的手势图像作为样本，对神经网络进行训练，最终使得神经网络能够识别无人机地面站摄像头采集到的手势图像，并通过本发明所构建的系统对应出相应的操作指令，对无人机飞行器的飞行动作做出相对应的指示，实现无人机手势指引飞行。

主权项

一种基于手势识别的无人机航迹指引方法，其特征在于，包括以下步骤：(1)、图像采集利用摄像头采集操作者的手势图像，并上传到无人机地面站系统；(2)、图像预处理无人机地面站系统先将手势图像转化为灰度图像，再将灰度图像转换为行向量，并将该行向量标记为q；(3)、构建图像识别的动力学方程按照协同理论，利用行向量q作为待识别模式构图像识别的动力学方程：$\stackrel{\·}{q}=\underset{k}{\Σ}{\mathrm{\λ}}_k{v}_k\left(v_k^{+}q\right)-B\underset{k=k^{\′}}{\Σ}{\left(v_{k^{\′}}^{+}q\right)}^2\left(v_k^{+}q\right)v_k-C\left(q^{+}q\right)q+F\left(t\right)$其中，λ_k为注意参数，只有当它为正时，模式才能被识别；v_k为原型模式，且v_k满足零均值和归一化的条件；为v_k的正交伴随向量；F(t)为涨落力；q⁺表示为q的伴随向量；表示q关于时间的一阶倒数；k表示手势图像所属类别；B、C分别为常系数；(4)、引入序参量ξ_k，将动力学过程转化成原型向量空间序参量ξ_k表示行向量q在最小二乘意义下于v_k上的投影，即：进而把动力学过程转化成原型向量空间：${\mathrm{\ξ}}_k={\mathrm{\λ}}_k{\mathrm{\ξ}}_k-\underset{k\≠k}{\Σ}{B}_{{\mathrm{kk}}^{\′}}{\mathrm{\ξ}}_{k^{\′}}^2{\mathrm{\ξ}}_k-C\left(\underset{k^{\′}}{\Σ}{\mathrm{\ξ}}_{k^{\′}}^2\right){\mathrm{\ξ}}_k$(5)、利用协同神经网络模型来识别操作者的手势将手势图像转换为灰度图像后作为训练样本，以训练样本中提取的序参量ξ_k作为协同神经网络的输入，根据先验知识确定训练样本中的操作手势，如果手掌展开且向上，则设置协同同神经网络的输出为“000”；如果手掌展开且向下，则设置协同神经网络的输出为“001”；如果拇指指向上，则设置协同神经网络的输出为“010”；如果拇指指向下，则设置协同神经网络的输出为“011”；如果拇指指向左，则设置协同神经网络的输出为“100”；如果拇指指向右，则设置协同神经网络的输出为“101”；最后通过调整内部的权值和阈值，训练协同神经网络；(6)、识别待监测手势图像中操作者手势将待监测的手势图像经过上述步骤(1)到步骤(4)处理后提取出序参量ξ_k，再将序参量ξ_k输入到经过训练后的协同神经网络，根据协同神经网络的输出结果识别出操作者的手势；(7)、根据操作者的手势发送对应的操作指令如果协同神经网络的输出为“000”，则无人机地面站系统发送起飞指令，控制无人机飞行器执行起飞操作；如果协同神经网络的输出为“001”，则无人机地面站系统发送降落指令，控制无人机飞行器执行降落操作；如果协同神经网络的输出为“010”，则无人机地面站系统发送向上飞行指令，控制无人机飞行器执行向上飞行操作；如果协同神经网络的输出为“011”，则无人机地面站系统发送向下飞行指令，控制无人机飞行器执行向下飞行操作；如果协同神经网络的输出为“100”，则无人机地面站系统发送向左飞行指令，控制无人机飞行器执行向左飞行操作；如果协同神经网络的输出为“101”，则无人机地面站系统发送向右飞行指令，控制无人机飞行器执行向右飞行操作。