[发明专利]3D-360度全景图像生成方法及装置

说明书

本发明涉及3D‑360度全景图像生成方法及装置，采用深度学习神经网络方法，利用环绕多相机图像画面直接生成左右眼视图，进而拼接合成3D‑360度全景画面，获取左右眼视图的整个过程由网络模型通过自动训练得到合适特征自动插值实现，不需要另外使用光流算法计算，大幅降低计算量，增加全景生成的鲁棒性的同时避免出现难以接受的伪影，提高了全景图像生成速度，同时图像生成过程可以应对光线复杂、含有近景目标和纹理不丰富的场景，图像质量高，高效高质量高稳定性的输出，可满足实时全景图像采集的需要。

技术领域

本发明涉及摄像、图像处理技术领域，具体涉及3D-360度全景图像生成方法及装置。

背景技术

随着虚拟现实（Virtual Reality，VR）技术的日益发展，VR内容的制作渐成整个行业发展的短板。VR内容中3D-360度全景视频是视频行业的重要方向，其采集设备性能对视频图像质量有着至关重要的作用。

所谓3D-360度全景图像即拍摄的图像视场域达到水平方向360度，同时含有具有水平视差的左右眼全景视图，可分别显示到VR眼镜的左右眼屏幕上，实现具有真实感的立体全景图像显示效果。

当前的3D-360度全景图像拼接实现方法是：通过使用环绕多摄像头硬件拍摄多幅图像，然后对这多幅图像中两两相邻的图像计算光流，所谓光流即两幅图像重叠画面中任一像素在另一幅图像中的位置对应，使用这种像素级对应关系插值左右眼视图，假设有一对模拟人眼的虚拟摄像头位于两摄像头后面，则此两虚拟摄像头在两摄像头之间视场的成像完全可以使用两真实摄像头插值得到。要达到3D效果，必须合成同一场景模拟左右眼的两幅图像，而360度全景则是通过使用将两两摄像头合成的多幅左右眼图像依次相连得到。

在以上描述的传统的3D-360全景图像拼接过程中，直接决定拼接质量的环节是相邻图像的光流计算，精确的相邻视图的像素级对应才能生成无瑕疵无伪影的插值结果。而光流计算一直是计算机视觉业界的难题，在光线复杂、有近景目标、纹理不丰富等场景下光流计算容易失败，此时会直接导致拼接出的画面出错。同时，光流计算是获得图像中任一像素在另一视图中的像素级别位置对应，其计算量往往很大，使得想要达到高帧率的全景实时拼接应用很困难，这也增加了全景相机的硬件计算成本，限制了全景拼接的大规模应用。

发明内容

本发明的目的在于改进现有3D-360度全景图像的生成方法，提供一种3D-360度全景图像生成方法及装置。

为实现上述技术目的，本发明采用如下技术方案：

一种3D-360度全景图像生成方法，包括如下步骤：

获取环绕多相机的各个相机的图像，每个相机一幅图像；

将获取的多幅图像预处理为符合网络模型输入要求的图像；其中，所述网络模型经对包括多组经过虚拟相机生成的图像样本集和与其对应的3D左右眼视图进行迭代训练获取；

将经过预处理的多幅图像输入网络模型中，计算获取多幅左右眼视图；

获取的多幅左右眼视图进行后处理，恢复原图像大小及像素值值域；

将经后处理的多幅左眼视图按照顺序拼接得到左眼全景视图，多幅右眼视图按照顺序拼接得到右眼全景视图，将左眼全景视图和右眼全景视图上下拼接，即得到所需全景图像。

进一步的，所述网络模型经卷积神经网络训练获取，所述卷积神经网络包括依次连接的多个第一卷积层、第一激活函数层、池化层、多个反卷积层、第二卷积层和第二激活函数层。

进一步的，所述网络模型的训练方法包括：

获取虚拟相机生成的图像样本集，及与其对应的多幅3D左右眼视图；

对图像样本集进行预处理；