[发明专利]基于帧间相关性的单目深度估计方法及系统

说明书

本公开涉及场景深度估计技术领域，提出了基于帧间相关性的单目深度估计方法及系统，通过独立循环神经网络提取帧间相关性，将循环输入即上一时刻状态的处理方式改为哈达玛乘积，解除了循环过程中神经元之间的耦合，实现每层神经元的相互独立，从而简化梯度传播过程；并且通过将前一时刻帧的独立循环网络隐藏层状态映射为与当前时刻一致的隐藏层状态，根据映射后的状态对当前帧图像的深度特征进行增强，通过统一状态，提高了提取深度信息的清晰度，使得深度估计的结果更加准确。

技术领域

本公开涉及场景深度估计相关技术领域，具体的说，是涉及基于帧间相关性的单目深度估计方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

计算机视觉的研究目标是使计算机能像人一样具备观察环境、理解环境、自主适应环境的能力，在处理图像过程中如果缺失了真实场景的深度信息及相机的姿态信息，一定程度上会造成对场景错误的理解与识别，相对于二维视觉，三维视觉感知可以提供场景的深度信息，在众多视觉任务中具有广泛的应用前景，如自动驾驶、三维重建和增强现实等，目前基于单目视频的深度估计受到广泛关注。

随着深度学习的发展，目前存在较多的基于单目视频的深度估计方法，包括以真值深度图为目标的有监督学习方法和以视频运动生成结构为目标的自监督学习方法。而自监督学习方法又可以进一步分为两类，以单目单帧图像为输入的深度估计方法和以单目多帧为输入的深度估计方法。

针对单目多帧为输入的深度估计方法中，单目深度估计中因自监督的学习方式，目标帧深度和相机的姿态变换共同进行映射，导致视频每帧之间的深度估计相互独立且为相对变化，常出现闪烁现象。单目视频的连续帧间存在强相关性，可以通过循环神经网络提取该相关性，有效提升整个视频的深度估计质量。相比于前向神经网络，循环神经网络存在反馈循环连接，每一时刻的网络隐藏层输出不仅由该时刻的输入层决定，还由上一时刻的隐藏层输出决定，能够处理序列信息，捕捉时序相关性。理论上，循环神经网络可以处理任意长度的序列，但由于循环权重矩阵不断相乘，循环神经网络训练过程中面临着梯度消失和梯度爆炸问题，使得构建深度网络存在问题，难以实现长期记忆。另外，在通过循环神经网络提取帧间相关性中，每个时刻的隐藏层状态直接作用于下一个时刻存在潜在的假设，即序列中每个时刻的输入属性的基本特征是一致的，然而在连续视频的深度估计中，由于相机的连续运动，同一个物体在不同时刻其深度在不断变化，直接利用之前时刻的信息处理当前时刻会造成深度信息模糊，难以提升深度估计的质量。

发明内容

本公开为了解决上述问题，提出了基于帧间相关性的单目深度估计方法及系统，通过独立循环神经网络提取帧间相关性，简化梯度传播过程；并且通过统一不同时刻的状态，提高了提取深度信息的清晰度，使得深度估计的结果更加准确。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了基于帧间相关性的单目深度估计方法，包括如下过程：

通过构建的深度估计网络对获取的当前帧图像进行处理，得到多尺度的深度特征，以及当前帧图像与上一帧图像的相机变换姿态；

构建卷积-独立循环神经网络，将多尺度的深度特征作为输入，提取当前帧图像的深度特征，并提取当前帧图像与下一帧图像的帧间相关性；

根据上一帧图像处理过程中独立循环神经网络提取的帧间相关性，上一帧图像处理后得到的深度图,以及当前帧图像与上一帧图像的相机变换姿态变换，将前一时刻帧的独立循环网络隐藏层状态映射为与当前时刻一致的隐藏层状态，根据映射后的状态对当前帧图像的深度特征进行增强，得到增强后的深度特征；

将增强后的深度特征进行解码，得到当前帧图像的深度图；

循环执行上述过程得到连续帧图像每一帧图像对应的深度图。

一个或多个实施例提供了基于帧间相关性的单目深度估计系统，包括：