[发明专利]一种基于语义分割增强的物体检测方法

说明书

本发明涉及一种基于语义分割增强的物体检测方法，包括：准备标注好的图像；图像集划分；设计基于语义分割增强的深度卷积神经网络结构，以适用于物体检测，基于语义分割增强的深度卷积神经网络包含三个主要部分：主干子网络，分割子网络和检测子网络，主干子网络用来提取图像的通用特征，该特征是类别无关的特征；分割子网络基于主干子网络提取特征的基础上，进一步提取语义分割的特征并预测每一类物体的分割的热图；将每一类物体的热图作为该类的先验知识，并与检测子网络提取的特征相融合，进而产生类别相关的特征，每一类物体有对应类别的特征，该特征显著反映该类物体的特性；模型训练。

技术领域

本发明涉及计算机视觉领域中高性能的物体检测方法，特别是涉及采用深度学习方法进行图像物体检测的方法。

背景技术

深度学习技术作为人工智能发展过程中的关键技术，已经广泛的应用于智能监控、人机交互、辅助驾驶以及自动驾驶等多个领域，实现对场景中人、车以及其他类物体的实时检测与识别。作为深度学习技术中的重要实现方法，深度卷积神经网络在物体检测任务上已经取得了显著成果。

以自动驾驶系统为例，如图1所示，在物体检测任务中，首先通过车载相机捕获现实场景中的视频/图像；进一步地，将相机捕获的视频/图像输入到物体检测算法中；通过物体检测算法的运行，输出所检测到的物体的位置以及物体的类别；经过决策层，根据检测到的物体信息进行自动驾驶的决策，实现安全的自动驾驶。

作为自动驾驶中的关键技术，物体检测的精度直接关乎自动驾驶的安全程度，因此提升物体检测的精度，能够有效保证自动驾驶的安全性，进一步推动自动驾驶的发展。

现有的性能较优的物体检测算法是基于深度卷积神经网络的物体检测算法。Girshick等人[1][2]提出一种基于深度卷积神经网络的物体检测算法，首先通过卷积神经网络提取特征并生成候选窗口，然后将候选窗口通过检测子网络得出最终的预测结果。Liu等人[3]为进一步提升物体检测的效率，提出一种单阶段的物体检测算法，即将图像直接输入到深度卷积神经网络中，通过网络直接输出对物体框的回归和分类结果，略去了双阶段物体检测算法中候选窗口生成的阶段，一定程度上提升了物体检测的速度，但是物体检测的精度有所下降。Dvornik等人[4]提出将语义分割和物体检测任务相结合的深度卷积神经网络算法，采用一个主干网络，和两个分支分别用于生成语义分割结果和物体检测结果，实现了多任务的联合训练和应用。以上基于深度卷积神经网络的物体检测算法虽然取得了一定效果，但是仍然存在物体检测效果不佳的问题，无法有效的满足实际物体检测的需要。

本发明主要针对目前物体检测精度不佳的问题，设计一种新型物体检测算法，以有效提升物体检测的精度。具体地，本发明提出了一种基于语义分割增强的物体检测算法。通过引入语义分割的分支，以语义分割结果作为先验知识，生成类别相关的特征图，以增强不同类别物体的特征提取，并基于不同类别的特征实现对不同类别物体的检测识别。本发明提出的方法可用于上述介绍的领域中实现高精度的物体检测。

参考文献：

[1]Girshick R.Fast R-CNN.IEEE International Conference on ComputerVision.IEEE Computer Society,2015:1440-1448.

[2]Ren S,He K,Girshick R,et al.Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks.IEEE Transactions on PatternAnalysisMachine Intelligence,2015,39(6):1137-1149.

[3]Liu W,Anguelov D,Erhan D,et al.SSD:Single Shot MultiBoxDetector.European Conference on Computer Vision.Springer,Cham,2016:21-37.