[发明专利]基于视觉学习驱动的空中机器人集群控制方法及系统

权利要求书

1.基于视觉学习驱动的空中机器人集群控制方法，其特征在于，所述方法包括以下步骤：

步骤S200：采用摄像头模块扫描获取当前空中机器人全方位周围场景图像；

步骤S300：对所述全方位周围场景图像进行预处理，得到预处理后的全方位周围场景图像；

步骤S500：根据所述预处理后的全方位周围场景图像和预设的网络模型，得到网络模型输出的控制量；

步骤S600：检测空中机器人当前运行状态信息，根据所述当前运行状态信息确认当前空中机器人运行正常时，获取当前空中机器人前一次运行的目标速度，根据前一次运行的目标速度和所述网络模型输出的控制量得到最终控制量，根据所述最终控制量实现对当前空中机器人的控制，其中，空中机器人包括摄像头模块、计算机模块和飞控模块，所述运行状态信息包括速度、位置、航向信息，以及所述摄像头模块、所述计算机模块和所述飞控模块间连接信号；

所述步骤S500之前还包括：

步骤S400：预训网络模型，得到预设的网络模型；

所述预设的网络模型包括速度预测的全连接层和碰撞预测的全连接层，所述步骤S400包括：

步骤S410：采集预训练所需要的训练集图像；

步骤S420：将所述训练集图像输入初始网络模型进行训练确定网络权值参数，得到预设的网络模型，其中，在速度预测的全连接层处采用均方误差损失函数，在碰撞预测的全连接层处采用交叉熵损失函数；

所述预设的网络模型中的总的损失函数为：

其中,L_all表示总的损失函数，a表示加权比例，epoch表示循环迭代次数，L_vel表示均方误差损失函数，L_col表示交叉熵损失函数；

步骤S600中最终控制量的计算公式具体为：

ν_out＝b(1-β)ν_in+(1-b)v_lastout

其中，ν_out为最终控制量，β为碰撞概率，b为低通滤波参数，ν_in为网络模型输出的控制量，v_lastout为空中机器人前一次运行的目标速度。

2.根据权利要求1所述的方法，其特征在于，所述全方位周围场景图像包括多张图像，所述步骤S300包括：

步骤S310：对所述全方位周围场景图像中的多张图像进行灰度变换，采用高斯滤波抑制噪声并平滑图像，得到第一图像；

步骤S320：对所述第一图像进行二值化操作，得到第二图像；

步骤S330：对所述第二图像进行特征点提取与匹配，并按照预设顺序排序拼接，形成一张图像。

3.根据权利要求1所述的方法，其特征在于，步骤S600还包括：

根据所述当前运行状态信息确定空中机器人运行状态异常时，输出返回控制指令，控制空中机器人返回。

4.根据权利要求1所述的方法，其特征在于，步骤S200之前还包括：

步骤S100：发送启动指令，所述启动指令用于控制所述摄像头模块和所述飞控模块开始工作。

5.基于视觉学习驱动的空中机器人集群控制系统，其特征在于，包括多架空中机器人，每一空中机器人包括空中机器人本体和均安装在所述空中机器人本体上的摄像头模块、计算机模块和飞控模块，所述摄像头模块连接所述计算机模块，所述计算机模块连接所述飞控模块；

所述摄像头模块用于扫描获取空中机器人全方位周围场景图像并发送至所述计算机模块；

所述计算机模块用于执行权利要求1至4中任一项所述的方法，得到最终控制量并发送至所述飞控模块；

所述飞控模块用于根据接收的所述最终控制量实现对空中机器人集群控制。

6.根据权利要求5所述的控制系统，其特征在于，所述摄像头模块包括第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头和第六摄像头，所述第一摄像头设置于所述空中机器人本体的正前方，所述第二摄像头、所述第三摄像头和所述第四摄像头以每隔90°均匀设置于所述空中机器人本体的其余三周，所述第五摄像头设置于所述空中机器人本体的顶部，所述第六摄像头设置于所述空中机器人本体的底部，每个摄像头的视野范围为120°。