[发明专利]一种基于深度神经网络的多信息融合的场景深度恢复方法

权利要求书

1.一种基于深度神经网络的多信息融合的场景深度恢复方法，其特征在于，包括如下步骤：

第一步，准备训练数据，包括高分辨率的彩色图像、低分辨率的深度图像和高分辨率的深度图像对应的边界图像；

第二步，搭建边界预测网络，输入的彩色图像经过一次卷积和一个包括两个卷积的残差结构，得到彩色分支的特征图；输入的深度图像使用反卷积操作实现两次上采样，分辨率和彩色图像分辨率一样大小，每次反卷积之前经过3次卷积，其中，后两次卷积使用残差网络的结构；融合高分辨率的彩色图像的特征图之后，预测得到对应于高分辨率深度图像的边界图像；

第三步，构建损失函数并训练网络；

损失函数衡量训练数据上由彩色图像I和低分辨率深度图D^l预测的边界结果E和真实提取的边界E^gt的差距；

其中，表示网络推断过程；表示2范数；网络训练过程即是在训练数据不断优化网络参数w使收敛得到最终的

第四步，预测低分辨率的深度图对应的高分辨率的场景深度图像的边界；

根据测试集上的彩色图像I和低分辨率深度图D^l，经过网络得到边界

第五步，根据彩色图像I和低分辨率深度图D^l分别进行分区域拷贝和插值得到高分辨率深度图D^h，具体包括以下步骤：

5-1)对预测的边界进行膨胀，得到平滑区域和边界区域，平滑区域直接进行深度值的拷贝得到平滑区域的深度图D^smooth；

5-2)对边界区域进行插值得到边界区域的深度图D^edge：

5-2-1)对彩色图像上的相邻像素x，y之间计算高斯空间距离d

d＝G_σ(I_x-I_y)

σ为高斯函数的参数，取值为0.5；d的值越大表明两个像素之间相似性越大；I_x和I_y分别表示彩色图像上x和y处的彩色值；

5-2-2)判断相邻像素x，y是否处于深度图像边界的两侧，用公式表示为1(x,y；E)，表示x，y是否在E中处于边界的一侧，其中，1(·)用于判断为当前情况是否成立，成立为1反之则为0；共分为三种情况：

a)点x，y的连线与边界无重合或相交，此时成立；

b)点x，y的连线与边界相交，此时不成立；

c)点x，y的连线与边界有像素重叠，此时不成立；

5-2-3)根据以上判断，进行逐点插值；方程如下：

其中，和分别表示高分辨率深度图在x处和低分辨率深度图在y处的取值，K为归一化因子；表示在x周围的低分辨率图像上的点集合；

5-3)将上两步的结果融合一块得到最终深度结果D^h＝D^smooth+D^edge。