[发明专利]基于可联合实现语义分割和景深估计的网络模型的装置

说明书

本发明公开了一种可联合实现语义分割和景深估计的网络模型，包括：特征共享模块、多任务子网络，多任务子网络包括多个结构相同的任务子网络以供处理不同任务目标，包括：特征筛选模块、注意力集中模块和预测模块；特征筛选模块从共享特征筛选出与任务相关的特征；注意力集中模块提升筛选特征与任务目标的相关性；预测模块被配置为对集中注意力特征卷积后输出各任务目标的处理结果。本申请还公开了上述模型的训练方法，分别针对语义分割和景深估计进行反向传播迭代训练。本申请的模型精确性高、鲁棒性强，且模型轻量化。

技术领域

本发明涉及计算机视觉图像处理，具体涉及一种基于可联合实现语义分割和景深估计的网络模型的装置。

背景技术

语义分割是一种典型的计算机视觉问题，属于高层视觉任务，是理解场景的一种有效方法，从微观意义上了说，语义分割对图像中所有像素点进行预测，对每个像素点打上所属类别标签。同时也是实现细粒度推理中重要的一步。对于细粒度推理来说，进行物体的定位与检测，这将不止需要物体类别信息，也需要关于各类别空间位置的额外信息，比如中心点或者边框，因此语义分割是实现细粒度推理的重要一步。

在现有的计算机视觉图像处理的应用场景中，例如在自动驾驶、机器人系统、场景理解等，除了需要感知语义信息以外，还需要去推理出当前车辆与周围车辆、行人和障碍物的距离，通过景深估计来提升自动驾驶的安全性。

目前，深度学习（Deep Learning，简称DL）中的卷积神经网络（ConvolutionalNeural Networks, 简称CNN）已经在计算机视觉领域中表现出色。包括：图像分类、语义分割、物体检测、目标跟踪、景深估计。将一个端到端的CNN集成到视觉图像处理的感知模块中，对周围环境中的物体进行语义分割和景深估计，对于安全性来说是一个可行方案。但现有模型单一化，无法解决多个任务，在实际的应用场景中，特别是在自动驾驶领域中，由于自动驾驶的汽车要考虑内存和实时性，这一缺点被放大化；另外，现有的单任务模型特征提取噪音较大，对注意力的提升效果不理想，且计算量大。

发明内容

发明目的：本申请的目的在于提供一种基于可联合实现语义分割和景深估计的网络模型的装置，用于解决现有技术中单任务模型无法同时语义分割及景深估计，且单任务模型中注意力集中效果不理想、计算量大的缺陷。

技术方案：本申请一方面提供了一种基于可联合实现语义分割和景深估计的网络模型的装置，该装置包括可联合实现语义分割和景深估计的网络模型，模型包括：

特征共享模块，其被配置为将输入图像通过卷积神经网络进行特征提取，得到共享特征；

多任务子网络，其被配置为分别根据各任务目标，基于共享特征进行图像处理；任务目标包括图像语义分割、图像景深估计；

多任务子网络包括多个结构相同的任务子网络以供处理不同任务目标，包括：特征筛选模块、注意力集中模块和预测模块；

特征筛选模块被配置为根据各任务目标，从共享特征筛选出与任务相关的特征，得到对应的筛选特征；

注意力集中模块被配置为提升筛选特征与任务目标的相关性，得到集中注意力特征；

预测模块被配置为对集中注意力特征卷积后输出各任务目标的处理结果。

进一步地，特征共享模块采用编码-解码结构，包括编码单元和解码单元，编码单元的输出作为解码单元的输入；

编码单元包括多个编码块以及与编码块间隔串接的下采样块；

解码单元包括与编码块对应的多个解码块以及与下采样块对应的多个上采样块，解码块与上采样块间隔串接，每个编码块与其对应的解码块形成编解码对。

进一步地，特征筛选模块包括与编解码对相对应的多个特征筛选单元，以及与特征筛选单元间隔串接的上采样块；