[发明专利]应用深度学习的二维影像转三维影像的系统与方法

说明书

本发明公开一种应用深度学习的二维影像转三维影像的系统，其包括一二维(Two‑Dimension，2D)影像景深生成模块、一新视角生成模块与一三维(Three‑Dimension，3D)影像显示器。二维影像景深生成模块包括一2D影像采集单元与一景深计算单元，2D影像采集单元用于接收至少一2D影像，景深计算单元连接2D影像采集单元，用于进行至少一2D影像的至少一景深图的建立。新视角生成模块连接景深计算单元，用于结合至少一2D影像与至少一景深图以输出一三维影像。3D影像显示器连接新视角生成模块，用于显示3D影像。

技术领域

本发明涉及一种二维影像转三维影像的系统与方法，特别是涉及一种应用深度学习的二维影像转三维影像的系统与方法。

背景技术

在三维(Three-Dimension，3D)影像中，其所包含的信息(例如影像中物体形状或景深程度等)比二维(Two-Dimension，2D)影像更多，因此，直接从2D影像推测3D影像形状对计算机而言并不是容易的工作。然而，对人类来说，对于生活中常见到的物体，常常可以从单一角度看，就可以推测物体的整个形状(在三维空间中的样子)，人类之所以能做到这样是因为长久经验的累积，因此对于计算机而言，如果能学习足够多的2D影像以及3D形状的信息，理应可以将2D影像成功地转换为3D影像。

因此，近来有不少应用深度学习的2D影像转3D影像的方法，利用大量的训练数据(例如：影像以及相对应的三维形状)来训练深度学习的神经网络建构的模型，达到由单张或多张2D影像作为输入，推测转换为3D影像。

然而，采用深度学习方法预测2D影像的景深时，并无法准确模拟还原真实3D影像的景深程度，而且逐帧(frame)景深结果难以将影像的抖动问题消除。另外，影像的景深预测是应用卷积神经网络(Convolutional Neural Network，CNN)模型来做预测，深度学习的模型训练损失函数不可能降到0，误差总存在。以深度影像为基础的绘图(Depth-Image-Based Rendering，DIBR)转换模型需要设定多个参数还原3D的影像效果，新生成的影像视角部分的图像是有缺失的，应用深度学习(DIBR)进行补图不是真正的缺失还原。

应用深度影像为基础的绘图(DIBR)生成3D视频时，双目距离、观影距离或出入屏效果参数等需要根据实际场景设置观影参数。而且，在深度学习中，3D影像的补图，并不能还原真实缺失的图像。景深预测通常是利用深度学习的卷积神经网络(ConvolutionalNeural Network，CNN)模型，通过学习大量深度图像素材，在建立的损失函数基础上，优化CNN模型结构的各层参数，最终利用训练得到的CNN模型离线预测深度图像对应的3D景深图像。深度图像在DIBR演算演算法下生成虚拟新视角，并和原图一起构成3D图像。

故，如何通过设计改良，来提升深度学习的影像转换效果，来克服上述的缺陷，已成为该项事业想要解决的重要课题之一。

发明内容

本发明所要解决的技术问题在于解决现有二维影像转三维影像的转换效果差，针对现有技术的不足提供应用深度学习的二维影像转三维影像的系统，其采用空洞修复技术以生成更好的三维影像。

为了解决上述的技术问题，本发明所采用的其中一技术方案是提供一种应用深度学习的二维影像转三维影像的系统，其包括一二维(Two-Dimension，2D)影像景深生成模块、一新视角生成模块与一三维(Three-Dimension，3D)影像显示器。二维影像景深生成模块包括一2D影像采集单元与一景深计算单元，2D影像采集单元用于接收至少一2D影像，景深计算单元连接2D影像采集单元，用于进行至少一2D影像的至少一景深图的建立。新视角生成模块连接景深计算单元，用于结合至少一2D影像与至少一景深图以输出一三维影像。3D影像显示器连接新视角生成模块，用于显示3D影像。