[发明专利]一种基于混合成像系统进行光场视频捕捉的方法

说明书

技术领域

本发明涉及图像捕捉领域，尤其是涉及了一种基于混合成像系统进行光场视频捕捉的方法。

背景技术

光场视频捕捉常用于安防监控、视频拍摄、合成光场描绘、合成孔径成像、多视点立体显示等领域。采用基于图像渲染技术，在不需要图像的深度信息或相关性的条件下，通过预先拍摄的一组场景照片，建立该场景的光场数据库，然后对于任意给定的新视点，经过采样和线性插值运算，得到该视点的视图，实现对整个场景的漫游。具体地，在安防监控领域，运用光场相机捕捉视频，根据需要可以对视频调整焦距，查看视频资料。在视频拍摄领域，拍摄电影的时，可以在视频被捕获之后，尝试在视频不同部分改变焦点。与传统视频拍摄相比，光场视频拍摄允许用户在拍照后更改图像设置，但是在光场相机带宽范围较小的情况下，要捕获大量视频数据，尚且存在一定的挑战。

本发明提出一种基于混合成像系统进行光场视频捕捉的方法，通过使用混合成像系统来捕捉光场视频，由一个时空光流卷积神经网络和外观卷积神经网络组成。时空光流卷积网络将时间信息从光场帧传播到二维帧，并将所有图像翘曲到目标视图。外观卷积神经网络然后接收这些图像并生成最终图像。时空卷积神经网络把输入的二维视频和光场图像翘曲到目标角度视图，外观卷积神经网络结合所有已翘曲的图像，生成新图像，本发明提出一种新型算法，使用混合成像系统来捕捉光场视频，增加一台摄像机来捕获时间信息，通过卷积神经网络将二维视频和稀疏光场序列生成一个全光场视频，为安防监控以及视频拍摄领域的创新解决方案做了进一步贡献。

发明内容

针对图像捕捉，提出一种新型算法，使用混合成像系统来捕捉光场视频，增加一台二维摄像机来捕获时间信息，通过卷积神经网络将二维视频和稀疏光场序列生成一个全光场视频，为安防监控以及视频拍摄领域的创新解决方案做了进一步贡献。

为解决上述问题，本发明提供一种基于混合成像系统进行光场视频捕捉的方法，其主要内容包括：混合成像系统(一)；时空光流估计网络(二)；外观估计网络(三)。

(一)混合成像系统；

(二)时空光流估计网络；

(三)外观估计网络。

其中，所述的混合成像系统，提出一种新型算法，通过使用混合成像系统来捕捉光场视频，由时空光流卷积神经网络和外观卷积神经网络组成，给定一个以30帧每秒为标准的二维视频和一个低速光场视频，生成一个全光场视频，由于二维帧中部分关键帧具有对应的光场，部分则不存在光场，故将这种多视图信息从这些关键帧传播到中间帧，时空卷积神经网络把输入的二维视频和光场图像翘曲到目标角度视图，外观卷积神经网络结合所有已翘曲的图像，生成新图像，用I^t表示二维视频帧，L^t表示光场视频序列，其中t＝1，2，3…是帧索引，令L⁰和L^T为两个相邻的关键帧，通过给定的(L⁰，L^T)以及{I⁰,I¹,…,I^T-1,I^T}，估算{L¹,…,L^T-1}，只计算两个相邻关键帧(L⁰,L^T)之间的帧，然后结合所有插值结果产生完整的视频。

进一步地，所述的时空光流估计网络，包括视差估计，时间光流估计和翘曲光流估计三部分，第一部分估计关键帧的视差，第二部分计算如何在二维帧之间传播信息，第三部分利用前两部分的结果将视差传播到所有二维帧，首先对每个部分进行独立训练，然后再端到端进行训练。

其中，所述的端到端进行训练，训练模型包含两个帧之间所有的图像，并输出一个完整的光场序列，在两个光场(L⁰,L^T)中输入一个二维帧{I¹,…,I^T-1}，输出{L¹,…,L^T-1}，在训练过程存储器不可能适应整个光场序列，故每个训练样本仅从光场中抽取部分视图和二维序列中抽取一帧进行采样。