[发明专利]用于编码和解码基于光场的图像的方法和设备

说明书

公开了一种用于编码当前焦点堆栈的方法，该当前焦点堆栈包括在从一个图像到另一个图像在不同聚焦距离处聚焦的一组图像。根据本公开，该方法包括：对表示当前焦点堆栈的图像的信息进行编码(31)，所述图像根据图像锐度标准在所述当前焦点堆栈中被选择，并且将该图像重构为重构图像；通过从至少重构图像进行预测来编码(32)当前焦点堆栈的至少另一图像。

1.技术领域

本公开涉及光场成像，并且涉及用于获取和处理光场数据的技术。更确切地说，本公开总体上涉及用于对基于光场的图像进行编码和解码的方法和装置，以及在图像或视频编码/解码(即，图像或视频压缩/解压缩)的领域中找到应用。

2.背景技术

本部分旨在向读者介绍所属领域的各个方面，这些方面可涉及下面所描述的和/或请求保护的本公开的各个方面。相信这一讨论有助于为读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应该理解的是，这些声明是以这种方式阅读的，而不是作为对现有技术的承认。

常规的图像捕捉设备将三维场景渲染到二维传感器上。在操作期间，常规的捕捉设备捕捉表示到达设备内的光电传感器(或光电检测器)的光量的二维(2-D)图像。但是，该2-D图像不包含关于到达光电传感器(可以被称为光场)的光线的方向分布的信息。例如，深度在获取期间中会丢失。因此，常规的捕捉设备不存储大部分关于来自场景的光分布的信息。

光场捕捉设备(也被称为也备不存储大部设备为也备不存储大部分捕捉来自该场景的不同视点的光来测量场景的四维(4D)光场。因此，通过测量沿着与光电传感器相交的每个光束传播的光量，这些设备可以捕捉额外的光学信息(关于光线束的方向分布的信息)，以便通过后处理提供新的成像应用。由光场捕捉设备获取/获得的信息被称为光场数据。光场捕捉设备在本文中被定义为能够捕捉光场数据的任何设备。有几种类型的光场捕捉设备，其中：

-全光设备，其使用放置在图像传感器和主透镜之间的微透镜阵列，如在文献US2013/0222633中所描述的；

-照相机阵列，其中每个照相机图像在它自身的图像传感器上。

也可以用计算机生成图像(CGI)从场景的一系列2-D图像(当以不同的观看点捕捉表示同一场景的两个不同图像时所称的视图)模拟光场数据，其中每个2-D图像是通过使用常规的手持照相机从不同视点拍摄的。

光场数据处理尤其包括但不限于生成场景的重新聚焦的图像、生成场景的透视图、生成场景的深度图、生成扩展景深(EDOF)图像、生成立体图像和/或这些的任何组合。

本公开更确切地着重于如由R.Ng等人在斯坦福大学计算机科学技术报告CSTR2005-02,no.11(April 2005)的“Light field photography with a hand-heldplenoptic camera”中公开的图1所示的由全光设备捕捉的基于光场的图像。

这种全光设备由主透镜(11)、微透镜阵列(12)和光传感器(13)组成。更确切地说，主透镜将物体聚焦到微透镜阵列上(或附近)。微透镜阵列(12)将会聚光线分离成在其后面的光传感器(13)上的图像。

与全光设备相反，照相机阵列设备(例如Pelican 照相机)直接传递视图矩阵(即，不需要去模糊)。

一般而言，通过使用焦点堆栈处理四维(4D)光场，该焦点堆栈包括每个被聚焦在不同聚焦距离处的图像集合。这种焦点堆栈允许用户通过后处理来改变图像的焦点。

光场图像或视频的数据集(无论是通过全光照相机、照相机阵列还是用计算机生成图像(CGI)模拟的)被重新组织以在前透镜的焦平面附近形成光数据体，类似于在其焦平面附近由透镜生成的光场。在图2中示意性地示出了这种焦点堆栈100。

通过选择在焦点堆栈100内的图像101、102、103中的一个来模拟用照相机进行的常规聚焦，其对应于垂直于照相机的主光轴z移动焦平面。