[发明专利]一种无人机3D全景视觉装置

说明书

技术领域

本发明涉及无人直升机、全景激光光源、全方位视觉传感器、无线传输以及计算机视觉技术在无人机视觉等方面的应用，尤其涉及一种无人机3D全景视觉装置。

背景技术

无人直升机航拍照片具有大比例尺、广视角、高现势性的优点。目前无人机航拍广泛应用于军事侦察、国家生态环境保护、矿产资源勘探、海洋环境监测、土地利用调查、水资源开发、农作物长势监测与估产、农业作业、自然灾害监测与评估、城市规划与市政管理、森林病虫害防护与监测、公共安全、国防事业、数字地球以及广告摄影等领域，有着广阔的市场需求。

当前无人机视觉上的研究，大多是利用无人机视觉进行避障，或者利用无人机视觉进行飞行控制。但是，无人机航拍所获取的二维图像缺乏实际的几何数据，无法再现被测物的3D实体几何数据；为了获取更详细，更准确的信息，需要对无人机所拍摄的图像进行拼接以活动周围全景图像，另外还需要进行3D测量。目前基本上采用双目立体视觉的方式来获取被测物的深度信息。近年来出现了一种直接测量物体深度的技术，如微软公司的深度传感器，但是这种技术属于面扫描技术，要获取3D全景仍然存在着很大困难。无人机视觉从2D图像走向3D图像，从某一个面走向360°全景是一个发展趋势，基于无人机航拍图像的3D测量与3D全景重建技术在军事、民用和科学研究等方面都有着极其广阔的应用前景。

申请号为201410264745.9的中国专利申请公开了一种基于无人机的航拍测绘装置及图像校准方法，通过设置角度摄像头和竖直摄像头，可以同时提供斜角影像图和俯视影像图；根据两个最终影像点之间的应然距离与两个原始影像点之间的实然距离的比值，对原始影像图进行缩放，从而得到最终影像图。这种方法属于双目立体视觉的测量方式，该方式除了3D测量效率低以外，容易受到各种干扰，摄像机构复杂，计算复杂度高，在实用上还存在着较大距离。

申请号为201110085596.6的中国专利申请公开了一种无人机航拍视频实时全景图拼接方法。利用视频采集卡采集由无人机通过微波通道实时传回基站的图像，对图像序列进行关键帧选择，对关键帧进行图像增强；在图像拼接过程中，首先采用鲁棒性良好的SURF特征检测方法对图像帧的特征检测和帧间匹配；又采用帧到全景的图像变换方式，减少图像连乘累积误差，并结合无人机的GPS位置信息，确定飞行路径在时序上不相邻但在空间上相邻的图像帧，优化帧到全景的变换关系，确定图像重叠区域，实现图像融合和全景图的构建，实现了边飞边拼接的实时效果；在图像变换时，利用视域上相邻帧信息和空域相邻帧信息，优化图像变换，获得准确的全景图。该案件实现的效果只是将局部图像拼接为全景图像，未涉及到3D测量与3D重构。

申请号为201010297558.2的中国专利文献公开了一种基于激光探测和图像识别的无人直升机三维定位及测绘方法，包括了基于激光探测和图像识别的测距传感器、高度传感器和飞行控制计算机，测距传感器由机载摄像机和激光发射器组成，用于探测无人直升机距周围障碍物的距离，通过改变俯仰角和偏航角，测距传感器对无人直升机周围环境进行探测并测距；高度传感器用于测量无人直升机距地面的飞行高度；根据在不同俯仰角、航向角和飞行高度条件下测量得到的测距数据，实现无人直升机对未知环境的三维同步定位及测绘。该案属于主动视觉对周围障碍物的检测，但是在检测过程中要不断改变俯仰角、航向角和飞行高度，使得摄像机构复杂度增加，实时性降低；此外该案尚未涉及如何应用主动式视觉对周围环境的3D重构。

综上所述，在无人机航拍技术中，对于还原场景、目标的三维结构存在着如下若干个棘手的问题：1)如何消除航拍过程中飞机本身的抖动、偏移、旋转等引起摄像机的摆动、旋转对成像模型的不利影响；2)如何使得无人机以较低的速度甚至“悬停”并稳定地沿预定航线飞行，来获得构建理想的3D模型的图像；3)如何使得无人机在不改变俯仰角、航向角和飞行高度情况下能方便地获取飞行航线上的全景图像，使得无人机视觉装置简单化；4)如何使得无人机能够适应各种复杂、狭小的环境，并且能实现悬停、侧飞等多种姿态飞行，无人机的机身机械结构简单；5)如何对主动式全景视觉传感器进行微型化和轻量化设计，有效减少无人机的负载量；6)如何进行场景及对象的快速3D测量，包括对飞行过程中的障碍物的检测及避障；7)如何根据相同场景在多个成像上的内在约束关系重建目标三维结构并进行精确测量；8)如何实现边飞行、边3D测量和边3D建模。

发明内容