[发明专利]一种基于混合成像系统进行光场视频捕捉的方法

权利要求书

1.一种基于混合成像系统进行光场视频捕捉的方法，其特征在于，主要包括混合成像系统(一)；时空光流估计网络(二)；外观估计网络(三)。

2.基于权利要求书1所述的混合成像系统(一)，其特征在于，提出一种新型算法，通过使用混合成像系统来捕捉光场视频，由时空光流卷积神经网络和外观卷积神经网络组成，给定一个以30帧每秒为标准的二维视频和一个低速光场视频，生成一个全光场视频，由于二维帧中部分关键帧具有对应的光场，部分则不存在光场，故将这种多视图信息从这些关键帧传播到中间帧，时空卷积神经网络把输入的二维视频和光场图像翘曲到目标角度视图，外观卷积神经网络结合所有已翘曲的图像，生成新图像，用I^t表示二维视频帧，L^t表示光场视频序列，其中t＝1,2,3…是帧索引，令L⁰和L^T为两个相邻的关键帧，通过给定的(L⁰,L^T)以及{I⁰,I¹,…,I^T-1,I^T}，估算{L¹,…,L^T-1}，只计算两个相邻关键帧(L⁰,L^T)之间的帧，然后结合所有插值结果产生完整的视频。

3.基于权利要求书1所述的时空光流估计网络(一)，其特征在于，时空光流估计网络包括视差估计，时间光流估计和翘曲光流估计三部分，第一部分估计关键帧的视差，第二部分计算如何在二维帧之间传播信息，第三部分利用前两部分的结果将视差传播到所有二维帧，首先对每个部分进行独立训练，然后再端到端进行训练。

4.基于权利要求书3所述的端到端进行训练，其特征在于，训练模型包含两个帧之间所有的图像，并输出一个完整的光场序列，在两个光场(L⁰,L^T)中输入一个二维帧{I¹,…,I^T-1}，输出{L¹,…,L^T-1}，在训练过程存储器不可能适应整个光场序列，故每个训练样本仅从光场中抽取部分视图和二维序列中抽取一帧进行采样。

5.基于权利要求书4所述的采样，其特征在于，除了两个关键帧0和T中使用所有角度视图之外，在中心视图u₀的基础上，每次都随机抽取4个视图u₁,u₂,u₃,u₄，然后将这五个视图输入视差估计网络，生成关键帧视差，在每个训练样本中，仅输入一个帧t,代替所有帧之间的中心视图，然后使用时间流网络来估计关键帧和帧t之间的流；在帧t处随机抽取一个角度视图u，用翘曲光流网络在两个关键帧中提取视图u和u₀，以及二维帧I^t,并对它们进行翘曲，最后色彩估计网络采用这些翘曲图像，生成最后的输出图像。