[发明专利]用于对光场图像进行基于块的压缩的方法和设备

说明书

技术领域

本发明涉及对光场图像的处理，更具体，涉及用于对光场图像进行基于块的压缩的方法和设备。

背景技术

传统照相机不能捕获大量的光学信息。具体地，传统照相机不能捕获关于光圈(aperture)上位置的信息，其中光圈是不同光线进入照相机的地方。在操作期间，传统数码照相机捕获代表打在照相机中的光敏元件上的每个点的总光量的二维(2D)图像。然而，此2D图像并不包含关于打在光敏元件上的光的方向分布的任何信息。像素处的方向信息对应于光圈处的位置信息。

相反，光场照相机对四维(4D)光学相位空间或光场进行采样，并且在这样做时，捕获关于光线的方向分布的信息。光场照相机捕获的这种信息可以称为光场、全光函数或者辐射率。在计算摄影中，光场是3D中所有光线的4D记录。辐射率描述空间信息和角度信息两者，并且辐射率被定义为每立体角度(以弧度为单位)、每单位面积的能量的密度。光场照相机捕获辐射率；因此，最初失焦获取的光场图像可以重新聚焦，噪声可以被降低，视角可以改变，并且可以获得其他光场效果。

可以利用传统照相机捕获光场。在一个传统方法中，利用传统照相机从不同位置捕获场景的MxN个图像。例如，如果从64个不同位置捕获8x8图像，则产生64个图像。从每个图像中的每个位置(i，j)取得像素，并将其置于块中，以生成64个块。

图1A示出了示例性的现有技术的光场照相机，或者照相机阵列，该阵列使用了两个或更多物镜110的阵列。每个物镜聚焦于光敏元件108的特定区域，或者备选地聚焦于单独的光敏元件108上。此光场照相机100可以视为两个或更多传统照相机的组合，其中每一个照相机同时将对象的图像记录在光敏元件108的特定区域上，或者备选地记录在特定光敏元件108上。捕获的图像随后可以被组合以形成一个图像。

图1B示出了示例性的现有技术全光照相机，其是另一种类型的光场照相机，并且使用单个物镜和显微透镜或小透镜阵列106，该阵列例如包括约100,000个小透镜。小透镜阵列106通常与光敏元件108(例如，电荷耦合器件(CCD))相距较短距离(约0.5mm)。全光照相机102捕获的原始图像由主照相机透镜108的小图像(通常是圆形的)的阵列组成。这些小图像可以称为微图像。小透镜阵列106支持全光照相机102以捕获光场，即，不仅记录图像强度，而且记录每个点处不同方向上的强度分布。每个小透镜将从主透镜104进入的光束分裂成来自于主透镜108的光圈上不同“针孔”位置的射线。这些射线的每一个被记录为光敏元件108上的像素，并且每个小透镜下的像素共同形成n像素图像。每个小透镜下的此n像素区可以称为宏像素，并且照相机102在每个宏像素处生成微图像。具有例如100,000个小透镜的照相机102捕获的全光照片将包含100,000个宏像素，并且因而生成对象的100,000个微图像。例如，参见图2。通过适当地从每个宏像素选择像素，可以从宏像素处捕获的对象的微图像创建对象的传统图片。

从光场照相机(包括全光照相机)捕获的光场通常保存为2D图像，该2D图像包含“片段(tile)”或“微图像”的阵列。光场图像的压缩对于计算摄影是重要的问题。归因于光场的4D性质，以及光场的2D片等同于传统图片这样的事实，未压缩的文件趋向于较大，并且可能占据数千兆字节的空间。同时，数据中存在冗余：从一个表面点开始的所有射线具有近似相同的辐射率(对于朗伯(Lambertian)表面，是完全相同)。这样，存在对光场图像进行压缩的动机。

传统上，已经使用现有的有损耗的和无损耗的图像/视频压缩技术对光场图像进行压缩。某些传统方式将光场图像中的2D片视为单独的图像，并对每一个单独进行压缩。在其他方式中，4D光场图像包含在一个2D图像中，其由传统方法简单压缩为一个图像。这些方式并未利用光场图像特有的信息和冗余，而是将它们视为一般的图像。

已经提出了若干方式来专门压缩光场图像。某些传统方法将4D光场图像中的每个2D片视为视频中的帧。换言之，4D光场图像中的2D角度图像被用于创建视频，并且此视频使用视频压缩方法进行压缩。然而，利用光场专用压缩技术压缩的光场图像通常需要特定的查看器来查看光场图像。