[发明专利]一种面向自动驾驶的实时语义分割方法及系统

说明书

本发明属于图像处理和计算机视觉技术领域，公开了一种面向自动驾驶的实时语义分割方法及系统，方法采用三分支结构网络，三分支结构网络分别输入同一张但具有不同分辨率的图像，三分支结构网络分别输出具有不同维度的特征图，三个具有不同维度的特征图通过逐级融合后得到最终语义分割结果信息；系统包括三分支结构网络、融合模块。本发明解决了现有技术中图像语义分割算法存在网络运行时间较长、自动驾驶场景中数据样本种类之间严重不均衡的问题，使算法能够在精度与运行时间之间达到有效的平衡。

技术领域

本发明涉及图像处理和计算机视觉技术领域，尤其涉及一种面向自动驾驶的实时语义分割方法及系统。

背景技术

图像语义分割是自动驾驶中一个基本的街景理解任务，但由于自动驾驶中场景更加复杂，自动驾驶中对于类别具有侧重点以及模型的速度难以保证，导致模型本身训练存在难度，进而影响精度。目前许多图像语义分割算法在实验室内装有大型计算显卡的PC机上尚且难以实时运行，更何况在自动驾驶的嵌入式平台之上。即现有的图像语义分割算法存在网络运行时间较长以及自动驾驶场景中数据样本种类之间严重不均衡的问题。因此，图像语义分割算法模型的高效性与轻量性是目前图像语义分割算法在自动驾驶中应用所面临的最大困难。

随着大数据时代的兴起以及深度学习的飞速发展，图像的语义分割的主流技术已经变为了以深度学习为基础，涌现了很多图像语义分割深度学习算法。通过对神经网络的研究，人们发现很多经过优良设计的网络结构可以在各个图像领域都发挥强大的特征提取能力，如VGG、Inception、ResNet等。这些网络提取的特征图，可以应用到目标检测、语义分割、目标跟踪等各个图像处理领域。

发明内容

本申请实施例通过提供一种面向自动驾驶的实时语义分割方法及系统，解决了现有技术中图像语义分割算法存在网络运行时间较长、自动驾驶场景中数据样本种类之间严重不均衡的问题。

本申请实施例提供一种面向自动驾驶的实时语义分割方法，采用三分支结构网络，所述三分支结构网络分别输入同一张但具有不同分辨率的图像，所述三分支结构网络分别输出具有不同维度的特征图，三个具有不同维度的特征图通过逐级融合后得到最终语义分割结果信息。

优选的，不同维度的特征图进行融合时，图像语义分割算法模型包括监督损失计算；

所述监督损失计算为将标签图像缩放到与每一分支的特征图同等维度，利用缩放后的标签图像与1*1卷积分类之后的特征图通过归一化指数函数Softmax进行交叉熵损失函数的计算；

三分支结构网络的总损失值表示为：

Loss＝α₁L₁+α₂L₂+α₃L₃

式中，Loss是总损失值；α₁、α₂、α₃是三分支分别对应的三个调节权重；L₁、L₂、L₃是三分支分别对应的三个不同维度特征的损失值。

优选的，所述交叉熵损失函数采用抑制性交叉熵损失函数；所述抑制性交叉熵损失函数的定义为：

式中，S_i是归一化指数函数Softmax的输出概率值；μ和γ是参量；L_ICEloss是抑制性交叉熵损失函数值。

优选的，所述三分支结构网络包括下分支、中分支、上分支，所述下分支输入具有原始分辨率的图像，所述中分支输入具有原始分辨率1/2的图像，所述上分支输入具有原始分辨率1/4的图像；

所述下分支的输入图像经过下采样模块后得到具有原始分辨率1/8的图像，记为第一图像，所述第一图像为具有低维特征的特征图；