[发明专利]利用卷积空间传播网络学习的亲和度进行深度估计的系统和方法

权利要求书

1.一种用于端对端训练模型以从单个图像估计深度的方法，所述方法包括：

在卷积空间传播网络处接收亲和矩阵和初始深度图，所述初始深度图包括与图像中的结构相关联的像素深度；

通过所述卷积空间传播网络使用所述亲和矩阵和所述初始深度图以在多个方向上传播局部区域，同时并行地递归地更新每个像素深度，以针对细化深度图中的一组边界，改进与所述图像中的所述结构的一组边界的对准；

在所述卷积空间传播网络的最终层处输出所述细化深度图；

计算误差；

执行反向传播；以及

迭代，直到达到停止条件为止。

2.根据权利要求1所述的方法，还包括将所述图像输入至第一卷积神经网络中以输出所述初始深度图。

3.根据权利要求2所述的方法，其中，所述传播局部区域的操作通过所述卷积空间传播网络来学习扩散张量。

4.根据权利要求3所述的方法，其中，所述卷积空间传播网络使用传播模型并且使用递归卷积操作来获得长范围环境，所述传播模型是各向异性扩散过程。

5.根据权利要求2所述的方法，还包括通过将来自编码器的特征直接级联至向上投影层来向所述第一卷积神经网络添加镜像连接。

6.根据权利要求3所述的方法，还包括将对应于与稀疏像素集合相关联的ground-truth深度值的稀疏深度值输入至所述第一卷积神经网络中，以及将所述稀疏深度值与所述图像的数据相结合以输出所述初始深度图。

7.根据权利要求6所述的方法，其中，所述卷积空间传播网络响应于接收到所述稀疏深度值而生成所述细化深度图。

8.根据权利要求6所述的方法，其中，通过递归网络进行的卷积减少了周围像素的深度梯度误差，从而降低当用稀疏深度值置换所述细化深度图中的值时不连续的可能性。

9.根据权利要求6所述的方法，其中，所述ground-truth深度值已由光探测和测距系统以及线性激光传感器系统中的一个通过测量获得。

10.根据权利要求1所述的方法，其中，由接收所述图像并且包括被学习的参数的第二卷积神经网络生成所述亲和矩阵。

11.根据权利要求1所述的方法，其中，所述传播局部区域的过程包括通过深度卷积神经网络从所述图像的数据来学习扩散张量。

12.一种用于从单个图像估计深度的方法，所述方法包括：

将图像输入至已通过使用卷积空间传播网络进行端对端训练的模型中，所述卷积空间传播网络通过在多个方向上传播局部区域且同时并行地递归地更新每个像素深度而将初始深度图转换成细化深度图，所述初始深度图包括与图像中的结构相关联的像素深度；以及

使用所述细化深度图以从所述图像估计像素深度。

13.根据权利要求12所述的方法，其中，所述卷积空间传播网络接收稀疏深度样本并且使用所述稀疏深度样本来生成所述细化深度图。

14.根据权利要求13所述的方法，其中，所述稀疏深度样本的值保留在所述细化深度图中。

15.根据权利要求12所述的方法，其中，所估计的像素深度表示结构与相机之间的距离。