[发明专利]一种基于GAN潜码的多视点视频重建方法

说明书

本发明涉及一种基于GAN潜码的多视点视频重建方法，可用于虚拟视点合成、多视点视频压缩后处理以及虚拟现实等领域，具有广泛的应用价值。本发明通过GAN的生成能力来补偿相邻视点之间丢失的映射关系，并在提取网络的训练过程中考虑重建质量与潜码的码率之间的权衡。在编码器端，使用卷积网络提取GAN的潜码作为辅助信息，并构建模型的码率与重建质量联合代价函数。在解码器端，GAN的生成器将相邻视点与潜码结合起来以重构中间视图。本发明GAN潜码可以用作多视点视频的辅助信息，以实现更好的率失真性能。

技术领域

本发明涉及图像处理和多视点图像重建领域，特别是一种基于GAN潜码的多视点视频重建方法。

背景技术

随着计算技术和多媒体技术的飞速发展，用户对于高质量体验的沉浸式视频的追求也日益增长，虚拟现实(VR)和增强现实(AR)已然成为各界的关注焦点。多媒体系统通过其提供的显示及追踪技术在时间和空间上忠实再现现实世界的行为和感觉，就被称为沉浸。沉浸式视频超越了时间和空间的界限，让人们在虚拟世界中也能产生身临其境的临场。

为了增强沉浸感和互动性，使用户可以像现实世界一样自主选择观看的角度和位置，在计算机视觉领域中提出了光场(LF)表示技术作为该问题的解决方案。

光场表示旨在从一系列视点提供3D场景的照片级渲染效果。3维场景自由视点VR系统适合采用的是摄像机阵列来获取多视点图像集，并通过多视图渲染进行场景重建，但是由于稠密的视点信息才能重建平滑的3维场景，海量的光场视频数据的采集，存储和传输带来巨大挑战。

因此，对采集到的光场、多视点视频数据进行压缩变得至关重要。

对多视点重建方法调研可知，a)深度图的多视点图像重建方面:提出采用基于分割的光流方法来计算虚拟视图和两个相邻视图之间的偏量，并通过加权三个映射的视图来产生新的视图。提出了一种视图合成方法，通过优化贝叶斯公式，用鲁棒的深度误差估计来优化新的代价函数。b)混合分辨率的多视点重建方面：Garcia等人在2012年提出多视点混合分辨率图像超分辨的研究，但同时他们在研究过程中也发现了混合分辨率研究过程中会出现一种多视点间的遮挡问题。同年Richter又提出一种具有鲁棒性的超分辨算法，从高分辨率视角图像中分离出来的高、低频成分都投影到目标低分辨率视角上，通过基于块的低频配准算法补偿空洞。c)无深度图的光场重建方面：2017年Vagharshakyan等将光场视为EPI上的稀疏优化求解问题，并使用适应的离散shearlet变换来作为稀疏表示基。2018年Wu等人提出了一种基于CNN的“模糊-恢复-去模糊”框架，从稀疏视图中进行光场重建，可以抑制上采样或超分辨角度尺寸中的重影效应。

对反向GAN的辅助信息生成方法调研可知，最先是2016年Creswell等人的论文中介绍了在计算图可用的前提下使用预先训练的GAN将图像样本投影到潜在空间的技术。同年Dumoulin等人提出了一种在GAN框架内集成有效推理的新方法，对抗学习推理(ALI)，在类似GAN的对抗框架中投射了推理机(或编码器)和深度定向生成模型(或解码器)的学习。

对基于辅助信息的多视点编码调研可知，传统的多视点视频编码，如基于多视点加低分辨率图(MRMV)的视频编码方法，提出了用低分辨率作为辅助信息，采用混合编码框架对每路视点编码，其视频码率会随着视点数的增加而急剧增长。而3D场景的深度值经常作为一种辅助信息，例如基于多视点加深度(MVD)的视频编码方法，对应深度被编码和传输，通过基于深度图像的渲染(DIBR)合成虚拟视点图像，但是该方法中的深度信息难以获取，且深度图像中很多信息缺失，不能很好地重建图像。上述两种方法都是通过手动提取辅助信息的方式，来进行多视点视频的编码，辅助信息容易存在冗余，难以用最少的辅助信息来辅助重建最好的图像质量。对基于EPI的光场重建方法调研可知，虽然EPI可以较好地利用视点间的相关性重建图像，但因其没有充分利用辅助信息，其中间视点的重建质量有限。

发明内容