[发明专利]基于多级特征融合及高斯条件随机场的图像语义分割方法

说明书

本发明公开了一种基于多级特征融合及高斯条件随机场的图像语义分割方法，包括：1）构建图像金字塔；2）使用空洞卷积保持特征图分辨率不变；3）多级特征逐层融合调优架构；4）用双线性插值法进行上采样；5）定义损失函数；6）高斯条件随机场的优化输出。本发明通过构建图像金字塔实现多级特征逐层融合的全卷积架构，使用自上而下的调优框架替代之前流行的并行池化模块，在获得不同尺度特征的同时逐层融合，保证了金字塔邻近层之间的特征优先融合，最大限度地捕获上下文信息，使用高斯条件随机场进一步优化前端的输出，捕获更多的空间细节，使得分割效果图中对象边界更加精准，最终整体架构的输出得到最优的语义分割效果。

技术领域

本发明涉及一种基于多级特征融合及高斯条件随机场的图像语义分割方法。

背景技术

早期的图像分割只是将图像中的内容粗略分割成若干区域，而随着研究的发展，图像分割的粗糙已经不能满足各种应用的需求，随之提出语义分割。图像的语义是指图像或图像区域所包含的对象或实体的类别等语义信息，语义下的图像分割称为语义分割。图像语义分割能够将单帧图像中的前景与背景分离，并识别出每个前景目标的类别，相当于给每个像素赋予了一个语义标签。语义分割在精度和细度上都是图像分割的一次重大升级。

图像语义分割的目的是将图像中的每个像素归类为预定类别标签中的某一个，这样不但能分割出区域，还能对区域进行内容上的标注。现实中越来越多的视觉应用需要从影像中推理出相关的知识或语义，即由具体到抽象的过程。这些应用包括自动驾驶，人机交互，计算摄影学，图像搜索引擎，增强现实等，背后的实际需求均是精确且高效的分割技术。

当前最先进的图像语义分割模型使用深度学习与概率图模型相结合的方式。模型前端基于最初为图像分类任务而设计的深度卷积神经网络，将最后的全连接层全部替换为卷积层，因而称为全卷积网络，可以对任意大小的图像进行语义分割。模型后端采用全连接条件随机场对卷积网络粗提取的语义特征进行优化，增强了模型捕捉空间细节的能力。宏观上讲，全卷积网络更像是一种技巧，随着基本网络的性能提升而不断进步。深度学习加概率图模型是一种趋势：深度学习进行特征提取，而概率图模型能够从数学角度很好地解释事物间的本质联系。

具体的，基于全卷积网络的图像语义分割方法利用了现成的卷积神经网络作为其模块之一来产生层次化的特征，将现存知名的分类模型转化为全卷积模型：全连接层均替换为卷积层，输出的是空间映射而非分类分数。这些映射由小步幅卷积上采样(反卷积)得到，来产生密集的像素级别标签。Long等人率先所做的这项工作被视为里程碑式的进步，因为它阐述了卷积神经网络如何可以在语义分割问题上进行端到端的训练，并高效地学习如何基于任意大小的输入来为语义分割问题产生像素级别的标签预测。Vijay等人提出SegNet引入更多的跳跃连接，并且使用了最大池化索引而不是全卷积网络中的编码器特征，因此SegNet相对于全卷积网络来说更节省内存。Fisher等人提出采用空洞卷积作为实现像素级预测的卷积层，能够在不减少空间维度的前提下，使感受野呈指数级增长。Zhao等人认为全局场景能够提供图像语义分割的类别分布信息，于是提出金字塔池化模块通过使用较大核的池化层获取这些信息；

基于深度卷积神经的方法在分类性能和定位精度之间似乎天生难以兼得，卷积网络对图像空间变换具有的强大不变性使其可以准确地预测目标的存在和粗略的位置信息，分割结果往往是不够协调，某些小区域可能出现不正确的标注，与其周围像素标注不一致，因而无法精确地描绘对象的边界。同样，交叉熵损失函数也不是语义分割最理想的损失函数，因为图像的最终损失值只是每个像素损失值的叠加，交叉熵损失不能保证像素的连续性。调优分割架构的输出并强化其捕捉细粒度信息的一个通用方法是引入条件随机场作为其后端处理模块，使全连接的条件随机场模型作为其流程中的一个独立的后处理步骤，以此对分割结果进行调优。尽管全连接模型通常是低效的，但该模型由于可以用概率推理来近似，所以可以达到相对的高效。条件随机场利用了原始图像中像素间的相似性。

就图像语义分割的现代架构而言，主要存在两个问题：