[发明专利]基于特征共享的自监督式单目深度估计方法

说明书

一种基于特征共享的自监督式单目深度估计方法，采用新的单一网络结构，将姿态估计模块融入深度估计模块中，实现对深度估计和姿态估计两部分功能的融合，得到基于特征共享的单目单源深度估计网络，所述网络包括：特征编码单元、深度估计单元、姿态估计单元和监督训练单元。所述姿态估计单元基于特征匹配的方式，实现了视频流式的实时姿态输出，提升了姿态估计的精度；所述深度估计单元基于高效的编解码模块，提高了计算效率；结合深度估计单元和姿态估计单元的输出，从原始图片中提出监督信息，完成了自监督式的网络训练流程；有效解决了无人驾驶中实时获取高精度单目深度信息的问题。

技术领域

本公开涉及无人驾驶行业中的深度感知技术领域以及计算机视觉技术领域，具体涉及无人驾驶场景中的一种基于特征共享的自监督式单目深度估计方法，尤其涉及一种由单一网络结构实现基于特征共享的自监督式单目深度估计方法。

背景技术

随着计算机视觉技术的不断发展，三维场景感知任务在无人驾驶行业中发挥出了至关重要的作用。三维感知任务与二维感知相区别，主要体现在真实三维空间中对无人驾驶车辆周围的行人、车辆以及障碍物等信息进行感知探测上。三维感知获取的信息是无人驾驶车辆进行车辆运动决策的关键依据，而深度信息是三维场景感知任务的基础。其中，受实际无人驾驶车辆传感器相机的安装布局的限制，以及鉴于动态变化场合下对无人驾驶车辆周围的行人、车辆以及障碍物等信息进行准确检测的需求，无论是对于仅包含一台相机的单目采集系统中的所述单目相机，还是对于包含多台单目相机的多目采集系统中的其中任意一台单目相机，三维感知系统均需要对单目相机所采集的场景进行深度信息获取，以解决单目相机应用场合或者有效场景信息仅来自于一台单目相机的深度信息获取问题。事实上，上述情形在无人驾驶车辆动态运行过程中时有发生，因此，利用单目相机获取深度信息是三维场景感知任务中的重点研究内容。

当前，对于单目深度估计任务来讲，现有的研究主要可以分成监督式和非监督式两类方向，其中监督式单目深度估计网络通常在特定数据集上表现优异，但是存在网络模型参数多、标注数据获取困难等问题；非监督式单目深度估计网络可灵活应用于不同数据集，但是存在网络模型精度差、网络训练策略不合理等问题。

为了解现有技术的发展状况，本公开对已有的专利和论文进行了检索、比较和分析：

专利文献CN 108961327 A“一种单目深度估计方法及其装置、设备和存储介质”中提出了一种利用双目信息进行单目深度估计网络训练的方法，该方法分别利用合成以及真实的双目样本数据训练得到单目深度估计网络。该方法使用了少量的真实双目数据以及大量的合成双目数据，效果较为依赖于合成数据的精度；同时该方法需要真实的双目数据对网络进行调整，因此该方法仅能以离线的方式进行训练学习，增大了数据采集的成本。

专利文献CN 111680554 A“自动驾驶场景的深度估计方法、装置和自主车辆”中提出级联网络的方式对单目深度估计的结果进行优化补足，首先通过深度估计模型生成基础的深度估计信息，后续利用偏差估计网络输出目标区域的偏差估计信息，进而解决目标区域的深度估计精度不足问题。该方法为了提升单目深度估计对于目标区域的精度，引入了目标检测方法和级联网络，扩增了网络的整体规模，网络结构复杂，系统成本高，计算消耗大，所述神经网络方法难以实时运行。

专利文献CN 110599533 A“适用于嵌入式平台的快速单目深度估计方法”中提出了一种在嵌入式平台上的轻量单目深度估计方法，该方法在嵌入式平台上部署轻量级深度估计网络，在边缘服务器配置模型训练框架，两者之间通过网络进行交互：嵌入式平台为边缘服务器提供数据与标签，边缘服务器得到数据后进行训练，更新嵌入式平台上的服务器。该方法提供了一种嵌入式平台上进行深度估计网络部署的方法，但是该方法采用了RGB-D相机采集单目图片与深度图，受限于RGB-D相机本身的局限性，深度图感知范围有限，因此该方法局限于室内场景，一般应用于室内机器人运动场合，对于室外车端的场合不适用。