[发明专利]一种多线程实时构建正射影像语义地图的系统

权利要求书

1.一种多线程实时构建正射影像语义地图的系统，其特征在于，包括无人机光电吊舱、AI边缘计算设备、电台以及综合控制计算机；

所述无人机光电吊舱，用于采集地面地形的航拍图像；

所述AI边缘计算设备，搭载于所述无人机吊舱平台上，用于根据所述航拍图像构建二维正射影像地图；还用于对所述二维正射影像地图中的环境要素进行识别并分割；

所述电台，用于将所述二维正射影像地图和所述环境要素的分割结果传输至所述综合控制计算机；

其中，所述分割结果为各分割区域的位置数据或语义化信息；

所述综合控制计算机，用于根据所述分割结果对所述二维正射影像地图进行分色标注，形成二维正射影像语义化地图。

2.根据权利要求1所述的一种多线程实时构建正射影像语义地图的系统，其特征在于，所述AI边缘计算设备包括CPU和GPU；

所述CPU，用于根据所述航拍图像构建所述二维正射影像地图；

其中，所述CPU，设置有图像采集线程、图像拼接线程以及图像传输线程；

所述图像采集线程，用于从所述无人机光电吊舱获取所述航拍图像，并将所述航拍图像储存至图像缓存队列；

所述图像拼接线程，用于从所述图像缓存队列中按时序读取所述航拍图像，按照图像深浅融合特征并结合所述航拍图像自带的POS数据信息对所述航拍图像进行拼接，直至得到所述二维正射影像地图；

所述图像传输线程，用于将所述图像拼接线程实时拼接的图像数据传输至所述综合控制计算机；

所述GPU，用于对所述二维正射影像地图中的环境要素进行识别并分割，以得到所述二维正射影像地图的语义化信息。

3.根据权利要求1所述的一种多线程实时构建正射影像语义地图的系统，其特征在于，所述电台包括图传电台和数传电台；

所述图传电台，用于将所述二维正射影像地图传输至所述综合控制计算机；

所述数传电台，用于将所述分割结果传输至所述综合控制计算机。

4.根据权利要求1所述的一种多线程实时构建正射影像语义地图的系统，其特征在于，所述综合控制计算机设置有可视化界面，以实时查看所述二维正射影像地图的动态拼接过程。

5.根据权利要求2-4中任意一项所述的一种多线程实时构建正射影像语义地图的系统，其特征在于，所述图像采集线程包括图像配准子进程，所述图像配准子进程包括以下处理过程：

提取所述航拍图像的特征点和参照图像的特征点；

将所述航拍图像的特征点和所述参照图像的特征点分别输入预先训练好的VGG-19网络，得到所述航拍图像的深度特征描述子和所述参照图像的深度特征描述子；

将所述航拍图像的颜色信息特征和尺度不变特征进行融合，得到所述航拍图像的浅层次融合特征；将所述参照图像的颜色信息特征和尺度不变特征进行融合，得到所述参照图像的浅层次融合特征；

将所述航拍图像的深度特征描述子和所述航拍图像的浅层次融合特征进行融合，得到所述航拍图像的深浅层次融合特征；将所述参照图像的深度特征描述子和所述参照图像的浅层次融合特征进行融合，得到所述参照图像的深浅层次融合特征；

将所述航拍图像的深浅层次融合特征和所述参照图像的深浅层次融合特征进行特征点匹配，并根据匹配结果进行插值和坐标转换，以获取配准结果。

6.根据权利要求5所述的一种多线程实时构建正射影像语义地图的系统，其特征在于，所述图像采集线程还包括图像融合子进程，当所述图像配准子进程完成对所述航拍图像的配准后，所述图像融合子进程用于将配准后的所述航拍图像进行融合。

7.根据权利要求5所述的一种多线程实时构建正射影像语义地图的系统，其特征在于，对所述二维正射影像地图中的环境要素进行识别并分割包括以下处理过程：

对所述二维正射影像地图进行裁剪，以获取固定尺寸的影像地图；

对所述影像地图交替进行14次卷积运算和6次池化运算，以提取所述影像地图的深度特征；

将所述深度特征分别进行4次不同大小的空洞卷积运算，以得到第一加强深度特征、第二加强深度特征、第三加强深度特征以及第四加强深度特征；

将所述第一加强深度特征、所述第二加强深度特征、所述第三加强深度特征以及所述第四加强深度特征通过串并联的方式进行连接、相加和合并，以获得所述影像地图的多尺度特征图的特征信息；

对所述多尺度特征图的特征信息依次进行上采样和卷积运算，再经过sigmoid函数将所述多尺度特征图的预测结果映射至[0,1]区间，以得到所述二维正射影像地图的环境要素预测结果。