[发明专利]基于编码-解码结构的图像语义分割方法

摘要

本发明公开了一种基于编码‑解码结构的图像语义分割方法。其特征包括：首先通过改进结构的ResNet‑101网络对待分割图片提取特征图集合；然后利用多尺度信息融合模块对所提取的特征图进行多尺度信息捕获；并且，利用空间信息提取模块在ResNet‑101的浅层提取丰富的空间信息；接着，将深层的多尺度信息和浅层的空间信息融合后，利用一个多核卷积块对融合后的特征图进行细化；最终，通过数据依赖的上采样操作得到分割结果。本发明主要致力于提高图像分割准确性，属图像处理技术领域，特别适用于医学图像分析、自动驾驶、虚拟现实、驾驶员辅助、机器人传感、室内环境重建、无人机等。

主权项

1.一种基于编码‑解码结构的图像语义分割方法，其特征是按如下步骤进行：步骤1、制作含有M张图片数据集，其分为三个子集：训练集，验证集和测试集，其中训练集和验证集被准确地进行像素级标注；步骤2、对基于编码‑解码结构的图像语义分割模型进行训练步骤2.1、首先对训练集图片进行数据增强，即随机水平翻转、10到‑10度的随机旋转和0.5到2倍的随机缩放；步骤2.2、将所述数据增强后训练集图片X∈{x₁，x₂，…，x_n}送入改进结构的ResNet‑101骨干中以提取出丰富的特征图集合E∈{e₁，e₂，…，e_m}；步骤2.3、将所述特征图E∈{e₁，e₂，…，e_m}喂给多尺度信息融合模块，以捕获含有区分力强且多尺度信息丰富的特征图集合T∈{t₁，t₂，…，t_a}；步骤2.4、运用空间信息捕获模块，从所述改进结构的ResNet‑101骨干的浅层提取具有丰富空间信息的特征图Q∈{q₁，q₂，…，q_d}，以补偿在改进结构的ResNet‑101骨干中因连续的池化和下采样操作带来的空间分辨率的损失；步骤2.5、将所述含有丰富多尺度信息的特征图T∈{t₁，t₂，…，t_a}和含有丰富空间信息的特征图Q∈{q₁，q₂，…，q_d}融合后得到具有丰富信息的特征图集合P∈{p₁，p₂，…，p_z}，再利用一个多核卷积块细化特征图P∈{p₁，p₂，…，p_z}，接着通过数据依赖的上采样操作得到图像分割结果，然后，利用Softmax回归分类器得到输出误差，再利用交叉熵损失函数对结果进行评估，最后利用反向传播算法优化误差进行训练，得到分割模型；步骤3、通过步骤2.1‑2.5，利用训练集对所述图像语义分割模型进行训练后，利用验证集对训练后的模型进行评估其性能；步骤4、针对测试样本，经过步骤2.2‑2.5后可得最终图像分割结果图。