[发明专利]一种面向低空无人机的实时图像语义分割方法

权利要求书

1.一种面向低空无人机的实时图像语义分割方法，其特征在于：具体包括以下步骤：

步骤一、数据集选取：选取针对低空无人机视觉数据集；

步骤二、对步骤一选取的数据集进行数据预处理；

1)数据增强：通过包括水平翻转和大小缩放对步骤一得到的数据集进行扩充，增强模型的泛化能力；

2)尺度变换：步骤二第1)步得到的数据集中的图像进行尺度化处理，将图像转化为网络默认的大小；

3)划分数据集：将步骤二第2)步得到的图像以比例划分为训练集和验证集；

步骤三、根据步骤二处理后的数据，构建端到端的超网络编码器-解码器结构；

步骤四、根据步骤三的网络结构，基于局部连接层结构设计一种固定的编码形式，设计位置编码，表现解码器的权重在不同空间位置上有所不同；

步骤五、根据步骤三的网络结构，构建权重生成模块，使网络能够根据输入图像变换定制不同的分割过程；

步骤六、结合步骤四和步骤五，通过附加的空间位置编码和下采样的特征，构建具有动态权重的动态分片卷积；

步骤七、制定迁移学习策略并对网络进行训练，得到最终面向低空无人机视觉的实时图像语义分割模型。

2.根据权利要求1所述的一种面向低空无人机的实时图像语义分割方法，其特征在于：所述步骤三具体方法为：

1)将数量范围在[3,5]个的下采样卷积层作为编码器和相应数量的上采样层作为解码器，以完成端到端的像素级语义分割；基于U-Net的结构，在编码器和解码器相应的层之间使用跳跃连接，将不同级别编码器与对应级别解码器的分层网络连接起来；

2)编码器网络使用轻量级卷积神经网络，输入图像下采样到不同分辨率的特征图其中C_i表示第i个特征图的通道数，H和W代表图像高度与宽度对应的像素数；

3)为了减小解码器的大小，添加一个额外的卷积，使每个F_i的通道数减少r_i；

4)解码器由多个解块组成，解块内部包含额外的权重映射网络组件w；解码器的输入是原图像和特征图F_i，与空间位置图P_i连接，权重是由图像中的每个空间位置贴片动态确定的。

3.根据权利要求1所述的一种面向低空无人机的实时图像语义分割方法，其特征在于：所述步骤四具体方法为：

引入局部连接层结构，采取了一种固定的编码形式在图像中不同位置(i,j)的计算方法如式(1)：

给定输入图像和特征图F₁到F_n，解码器块m₀对应输入图像，m₁到m_n对应特征图F₁到F_n，每个解块之后都会进行双线性上采样，并与上一级相同分辨率的特征图连接，结合相同分辨率的相应位置编码P₀到P_n和解码器中解块的权重θ^mi输出分割预测结果其中C是语义分割的类别数。