[发明专利]一种基于细节信息保持的多视点视图深度估计方法

说明书

本发明公开了一种基于细节信息保持的多视点视图深度估计方法。本方法首先利用U型神经网络提取出图片序列在不同尺度的特征，在同一尺度的特征中，分为两个分支：一个分支进行分割操作，得到高质量细节保持的目标分割图；一个分支进行为后续的深度估计进行特征提取。将不同尺度的特征与同尺度下的分割图F_s相乘，按照单应矩阵映射融合为3D特征体素，最后通过回归得到深度图。将该深度图与对应大小的F_s逐像素相乘，通过由粗到细不同尺度的优化，输出最终的深度图，其中只有目标的深度信息有效。本发明提出的基于细节信息保持的多视点视图深度估计方法，避免了重建中背景对目标的影响，提高了深度估计的精度。

技术领域

本发明涉及深度估计领域，具体是一种基于细节信息保持的多视点视图深度估计方法。

背景技术

重建真实世界中物体的三维建模一直是计算机视觉领域热点之一。图像是真实世界中三维场景在二维平面的一个投影。传统多视点三维重建方法耗时长，易受到复杂背景的干扰，并存在因深度估计不准确而导致重建质量差等问题。近年来，随着深度相机的普及，基于RGB-D相机的三维重建研究取得了显著进展，但仍存在深度分辨率不高，深度图过度平滑等缺点，导致重建的模型细节信息丢失。

基于图像的传统三维重建通常采用从运动恢复结构的技术，利用立体匹配算法计算出每帧图像对应的深度图，形成每帧图像的三维点云；并通过相邻帧运动估计获取每帧图像的相机位姿，进而将每帧图像的三维点云融合成最终的三维模型。然而传统三维重建技术通常存在以下缺点：在大尺度背景下重建小尺度目标时，特征提取与匹配易受到背景纹理干扰，使得估计的位姿不够精确，且容易丢失目标的细节信息；此外，传统立体匹配算法在遮挡和弱纹理区域中难以精确估计出深度信息。

为解决传统三维重建技术的局限，本发明采用深度学习方法，在多视点视图深度估计的同时，实现基于细节信息保持的目标分割，得到目标区域，从而减少背景的影响，提高位姿和深度估计的精度。

发明内容

本发明的目的是针对现有技术不足，提供一种基于细节信息保持的多视点视图深度估计方法。本发明其输入为一组多视点图像，输出为主视点的深度图，输出的深度图中，只有目标区域有深度信息，其他区域没有深度信息。

为了实现上述目的，本发明的技术方案包括如下步骤：

步骤1、输入多视点图像序列，尺寸为W×H，W为图像的宽，H为图像的高；多视点图像序列包含一幅主视点图像C_s和其他视点图像C_i，i＝1,2...N，N为视点编号。将多视点图像序列输入到一个U型神经网络中，提取图像语义特征。

所述的U型神经网络的定义如下：卷积核的大小为3×3，池化层为最大池化层，上采样的方式选择转置卷积。在相同的尺度且未进入多分支的情况下，通道数不变；S/8尺度、S/4尺度、S/2尺度和S尺度对应的通道数分别为1024、512、256和128。将尺度为S×S的多视点图像输入到U型神经网络中，首先经过三层卷积层，得到的特征图尺度为S×S×128；将做最大池化并增加一倍，经过三层卷积，得到了(S/2)×(S/2)×256的特征图将特征图做最大池化并增加一倍，经过三层卷积，得到了(S/4)×(S/4)×512的特征图将做最大池化增加一倍，得到(S/8)×(S/8)×1024的特征图将特征图进行转置卷积并两两相加，得到(S/4)×(S/4)×512的特征图将特征图进行转置卷积并相加，得到(S/2)×(S/2)×256的特征图将特征图进行转置卷积并两两相加，得到S×S×128的特征图。第十三层的特征图尺度为原图的四分之一，是最大的尺度的深度估计；第十六层的特征图尺度为原图的二分之一，是中间尺度的深度估计；第十九层的特征尺度与原图相等的，是最精细尺度的深度估计。