[发明专利]无人机单目远距离障碍检测方法、装置及无人机有效
申请号: | 202011203316.2 | 申请日: | 2020-11-02 |
公开(公告)号: | CN112364741B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 李想;田尊华;马洋 | 申请(专利权)人: | 湖南航天宏图无人机系统有限公司 |
主分类号: | G06V20/10 | 分类号: | G06V20/10;G06V10/774;G06V10/82;G06N3/0464 |
代理公司: | 长沙国科天河知识产权代理有限公司 43225 | 代理人: | 闵亚红 |
地址: | 410000 湖南省长沙市经济技术*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 无人机 远距离 障碍 检测 方法 装置 | ||
1.无人机单目远距离障碍检测方法,其特征在于,所述方法包括:
获取无人机上单目相机拍摄的图像序列;
将所述图像序列输入预先训练的神经网络模型,得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵;
从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移;
根据所述相对位移和所述膨胀率矩阵,计算当前图像中每一点与无人机之间的距离;
根据当前图像中每一点与无人机之间的距离,得到深度信息图像,实现对障碍物的检测;
其中,将所述图像序列输入预先训练的神经网络模型,得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵,包括:
从所述图像序列中确定当前图像,以及从所述图像序列中确定任意一帧图像;
将所述当前图像和所述任意一帧图像输入预先训练的神经网络模型的输入层;
通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算,由所述神经网络模型的输出层输出与两帧图像大小相同的膨胀率矩阵;
根据所述相对位移和所述膨胀率矩阵,计算图像中障碍物与无人机之间的距离;根据中障碍物与无人机之间的距离,得到深度信息图像,实现对障碍物的检测,包括:
从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移以及飞行速度,得到所述当前图像和所述任意一帧图像之间的拍摄时间间隔;
根据所述当前图像和所述任意一帧图像之间的拍摄时间间隔,所述当前图像和所述任意一帧图像对应的所述膨胀率矩阵以及飞行速度,得到当前图像中障碍物与无人机之间的障碍物距离;
根据当前图像中障碍物与无人机之间的障碍物距离得到深度信息图像,实现对障碍物的检测。
2.根据权利要求1所述的无人机单目远距离障碍检测方法,其特征在于,所述神经网络模型为卷积神经网络模型;
通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算,包括:通过所述卷积神经网络模型的卷积网络进行第一次卷积处理,通过所述卷积神经网络模型的反卷积网络进行第二次卷积处理。
3.根据权利要求1所述的无人机单目远距离障碍检测方法,其特征在于,训练所述神经网络模型的方式,包括:
对单目相机拍摄的样本图像进行标注,以及对所述样本图像进行比例缩放、旋转操作,得到多个样本子图像,采用所述样本图像的标注对所述样本子图像进行标注;
根据所述样本图像和所述样本子图像构建样本集;
根据所述样本集对所述神经网络模型进行训练。
4.一种无人机单目远距离障碍检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取无人机上单目相机拍摄的图像序列;
膨胀率矩阵获取模块,用于将所述图像序列输入预先训练的神经网络模型,得到当前图像相对于所述图像序列中任意一帧图像对应的膨胀率矩阵;
深度信息图像获取模块,用于从无人机的飞控模块中获取所述当前图像与所述任意一帧图像之间无人机的相对位移;根据所述相对位移和所述膨胀率矩阵,计算当前图像中障碍物与无人机之间的距离;根据中障碍物与无人机之间的距离,得到深度信息图像,实现对障碍物的检测;
所述膨胀率矩阵获取模块,还包括:
输入模块,用于从所述图像序列中确定当前图像,以及从所述图像序列中确定任意一帧图像;并将所述当前图像和所述任意一帧图像输入预先训练的神经网络模型的输入层;
输出模块,用于通过所述神经网络模型对所述当前图像和所述任意一帧图像进行处理计算,由所述神经网络模型的输出层输出与两帧图像大小相同的膨胀率矩阵。
5.根据权利要求4所述的无人机单目远距离障碍检测装置,其特征在于,所述膨胀率获取模块,还包括:
卷积处理模块,用于通过所述神经网络模型的卷积网络进行第一次卷积处理,通过所述神经网络模型的反卷积网络进行第二次卷积处理。
6.一种无人机,包括单目相机、飞控模块、图像处理模块和无人机本体,所述图像处理模块包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖南航天宏图无人机系统有限公司,未经湖南航天宏图无人机系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011203316.2/1.html,转载请声明来源钻瓜专利网。