[发明专利]利用卷积空间传播网络学习的亲和度进行深度估计的系统和方法

说明书

呈现了用于通过使用端对端卷积空间传播网络(CSPN)来改进对来自单个图像的场景布局进行实时逐像素深度估计的速度和质量的系统和方法。有效的线性传播模型使用递归卷积操作来执行传播。可通过深度卷积神经网络(CNN)来学习邻近像素之间的亲和度。给定单个图像，CSPN可应用于两个深度估计任务：(1)细化现有方法的深度输出，以及(2)例如通过将深度样本嵌入传播过程内来将稀疏深度样本转换成密集深度图。该转换确保稀疏输入深度值保留在最终的深度图中，并且转换实时地运行，因此很适合于机器人学和自动驾驶应用，其中，例如来自LiDAR的稀疏但准确的深度测量可与图像数据融合。

技术领域

本公开总体上涉及用于基于图像的深度估计的系统、装置和方法，基于图像的深度估计可用于各种应用，诸如增强现实(AR)、自动驾驶和机器人学。

背景技术

从单个图像的深度估计(即，预测到相机的逐像素距离)是计算机视觉中的基本问题，并且具有范围从AR、自动驾驶到机器人学的许多应用。近来通过利用深度全卷积神经网络(例如，来自室内和室外的大量训练数据)从单个图像估计逐像素深度的努力已产生高质量的输出。改进主要包括利用诸如视觉几何组(VGG)和残差网络(ResNet)的高级网络来更准确地估计全局场景布局和规模，以及通过去卷积操作、跳过连接和向上投影进行更好的局部结构恢复。然而，在仔细检查一些方法的输出后，预测的深度相当模糊并且没有很好地与图像中的结构(诸如对象轮廓)对准。

这可能主要是由于监督式学习流水线导致的，监督式学习流水线主要优化具有高级特征的逐像素误差，而很少关注呈现局部相似性的邻近关系。用于解决这种问题的常用且有效的策略包括通过非局部密集连接的条件随机域(CRF)的亲和度传播以及双边滤波。

现有的方法经常利用邻近像素之间的手动设计的亲和度，这可取决于RGB值或经转换特征与图像边缘之间的欧几里得距离。近来，一些研究者已经提出通过深度卷积神经网络(CNN)使用空间传播网络(SPN)来直接学习图像相关亲和度，这与图像分割上的手动设计的亲和度相比产生更好的结果。然而，在这样的方法中，以本质上连续的扫描行或扫描列的方式执行传播。因此，当从左到右传播时，最右边列的像素必须等待来自最左边列的信息来更新它们的值。深度细化通常需要局部环境而不是全局环境。

因此，需要克服现有方法缺点的系统和方法。

发明内容

在第一方面，本公开提供了一种用于端对端训练模型以从单个图像估计深度的方法，所述方法包括：在卷积空间传播网络(CSPN)处接收亲和矩阵和初始深度图，初始深度图包括与图像中的结构相关联的像素深度；通过CSPN使用亲和矩阵和初始深度图在多个方向上传播局部区域，同时并行地递归地更新每个像素深度，以针对细化深度图中的一组边界，改进与图像中的结构的一组边界的对准；在CSPN的最终层处输出细化深度图；计算误差；执行反向传播；以及迭代，直到达到停止条件为止。

在第二方面，本公开提供了一种用于从单个图像估计深度的方法，该方法包括：将图像输入至已通过使用卷积空间传播网络(CSPN)进行端对端训练的模型中，其中，CSPN通过在多个方向上传播局部区域且同时并行地递归地更新每个像素深度而将初始深度图转换成细化深度图，初始深度图包括与图像中的结构相关联的像素深度；以及使用细化深度图以从图像估计像素深度。

在第三方面，本公开提供了一种卷积空间传播网络(CSPN)系统，该系统包括：处理器；以及非暂时性计算机可读介质，其包括指令，指令在由处理器执行时致使执行步骤，该步骤包括：通过卷积神经网络(CNN)接收图像以生成初始深度图；通过输入层接收至少亲和矩阵和初始深度图，初始深度图包括与图像中的结构相关联的像素深度；使用递归神经网络(RNN)以在多个方向上传播局部区域，同时并行地更新每个像素深度，以针对细化的深度图中的一组边界，改进与图像中的结构的一组边界的对准；以及在最终层处输出细化深度图。

附图说明