[发明专利]一种基于内容自适应的光场视频编码方法

说明书

本发明公开了一种基于内容自适应的光场视频编码方法，方法包括：选取所述光场图像中的子图像的中心视点子图像和相邻子图像；对中心视点子图像进行编码后与所述相邻子图像的光场视频相减得到残差视频；根据残差视频在帧之间的相关性值R1的绝对值与相关性阈值τ的关系，将残差视频重排序为空域残差视频或者继续计算残差视频中的残差子图像在帧之间的残差能量值E1及在残差子图像之间的残差能量值E2，并选择相应的编码方法。本发明为残差视频自适应地从空域多视图编码方法和时域多视图编码方法中选择更好的方法，减小了残差视频的编码码流，提高了编码效率，进而提高了光场视频的编码效率。

技术领域

本发明涉及光场编码领域，尤其涉及一种基于内容自适应的光场视频编码方法。

背景技术

光场技术自提出以来，一直吸引着众多研究学者和企业的关注。企业例如Lytro致力于开发消费级光场相机，目前已推出两代产品，但是光场相机分辨率低的问题一直存在，这主要限制于当前的硬件水平。从长远来看，光场技术在可见未来的VR、AR技术中有着充足的潜力，正因如此，它仍吸引着众多研究学者投入资源进行研究。

光场相机捕获到的一张原光场图在记录平面场景的同时记录了角度信息，这使得一张光场图是目前普通相机拍出照片的数十倍大小。在未来想要将光场技术应用到消费级AR、VR技术中，无论是影视作品还是实时AR直播与通话，存储传输光场内容时都对光场图的文件大小有着极高的要求。为了保证光场图像内容的质量，光场图像的原生文件大小不可能减小反而在未来还会增加，编码则成为解决这个问题的关键。

目前针对光场编码有两种主要的类别：编码单张光场图和编码光场视频。编码单张光场图的思路很简单：由单张光场图得到多张记录各个不同角度信息的子图像，将子图像按照特定的顺序串连成一个视频，采用HEVC对这个视频序列进行编码。在编码单张光场图中，研究者们的主要工作集中在设计特定的扫描顺序来串连子图像，更充分地利用子图像之间的冗余信息。编码光场视频略微复杂一些，编码对象为多张时域连续的光场图。一张光场图被称为帧，每帧得到同等数量的子图像，一个子图像代表一个视图，采用多视图编码技术对其进行编码。但现有的多视图编码技术对光场视频进行编码时，对子视图间的相关性利用不够充分，编码效率也较低，不能在未来的AR、VR技术中面对日益增大的原生文件充分利用光场技术。

发明内容

本发明目的是为了解决现有技术中对较大原生文件在编码过程中需要高效率的光场编码的问题，提出一种基于内容自适应的光场视频编码方法。

本发明提出的一种基于内容自适应的光场视频编码方法，包括：S1、获取光场图像，选取所述光场图像中的子图像的中心视点子图像，除中心视点子图像以外的子图像为相邻子图像；S2、采用多视图编码方法对所述中心视点子图像进行编码获得中心视点光场视频；S3、将所述中心视点光场视频与所述相邻子图像的光场视频相减得到残差视频；S4、计算残差视频在帧之间的相关性值R1，并与帧之间的相关性阈值τ进行比较；S5、若相关性值R1的绝对值小于相关性阈值τ，将残差视频重排序为空域残差视频，将其编码为空阈残差视频码流后输出；若相关性值R1的绝对值大于相关性阈值τ，则执行步骤S6；S6、计算残差视频中的残差子图像在帧之间的残差能量值E1，以及残差视频在残差子图像之间的残差能量值E2；S7、当帧之间的残差能量值E1小于残差子图像之间的残差能量值E2时，将残差视频重排序为时域残差视频，将其编码为时域残差视频码流后输出；否则，将残差视频重排序为空域残差视频，将其编码为空阈残差视频码流后输出。

优选地，所述光场视频包括N个帧，即N个光场图像，每帧有140个残差子图像。