[发明专利]一种基于细节信息保持的多视点视图深度估计方法

权利要求书

1.一种基于细节信息保持的多视点视图深度估计方法，其特征在于输入为一组多视点图像，输出为主视点的深度图，输出的深度图中，只有目标区域有深度信息，其他区域没有深度信息；具体包括如下步骤：

步骤1、输入多视点图像序列，尺寸为W×H，W为图像的宽，H为图像的高；多视点图像序列包含一幅主视点图像C_s和其他视点图像C_i；将多视点图像序列输入到一个U型神经网络中，提取图像语义特征；

步骤2、将U型神经网络中的第十三层输出特征图对应的特征O₃输入到两个分支网络中，其中一个分支网络将特征O₃通过三层卷积层得到S/4尺度的分割图S₃，另一个分支网络将特征O₃通过三层卷积层得到特征图F₃，将S₃与F₃逐像素相乘，获得3D特征体素V₃；

步骤3.将3D特征体素V₃经过三层3D卷积进行特征提取后，按照基于方差的度量方法得到新的深度估计图DM_3d；

步骤4、将深度估计图DM_3d上采样，得到(S/2)×(S/2)×1的深度图DM₃；同时将U型神经网络中的第十六层的特征O₂输入到两个分支网络，得到S/2尺度的分割图S₂和特征图F₂，将S₂与F₂逐像素相乘获得3D特征体素V₂；

步骤5、将3D特征体素V₂经过三层3D卷积进行特征提取后，按照基于方差的度量方法得到新的深度估计图DM_2d；

步骤6、将深度估计图DM_2d上采样，得到S×S×1的深度图DM₂；将U型神经网络中的第十九层的特征O₁输入到两个分支网络，得到S尺度的分割图S₁和特征图F₁，将S₁与F₁逐像素相乘得到3D特征体素V₁；

步骤7、将3D特征体素V₁，经过三层3D卷积进行特征提取按照基于方差的度量方法得到新的最终深度估计图DM₁。

2.根据权利要求1所述的一种基于细节信息保持的多视点视图深度估计方法，其特征在于步骤1所述的U型神经网络的定义如下：

卷积核的大小为3×3，池化层为最大池化层，上采样的方式选择转置卷积；在相同的尺度且未进入多分支的情况下，通道数不变；S/8尺度、S/4尺度、S/2尺度和S尺度对应的通道数分别为1024、512、256和128；将尺度为S×S的多视点图像输入到U型神经网络中，首先经过三层卷积层，得到的特征图尺度为S×S×128；将做最大池化并增加一倍，经过三层卷积，得到了(S/2)×(S/2)×256的特征图将特征图做最大池化并增加一倍，经过三层卷积，得到了(S/4)×(S/4)×512的特征图将做最大池化增加一倍，得到(S/8)×(S/8)×1024的特征图将特征图进行转置卷积并两两相加，得到(S/4)×(S/4)×512的特征图将特征图进行转置卷积并相加，得到(S/2)×(S/2)×256的特征图将特征图进行转置卷积并两两相加，得到S×S×128的特征图；第十三层的特征图尺度为原图的四分之一，是最大的尺度的深度估计；第十六层的特征图尺度为原图的二分之一，是中间尺度的深度估计；第十九层的特征尺度与原图相等的，是最精细尺度的深度估计。