[发明专利]解码方法、解码装置以及电子照相机

说明书

本申请基于在2007年2月9日提交的日本专利申请第2007-030484号并要求其优先权，且其全部内容在本申请中被引用。

技术领域

本发明涉及对由全光相机(Plenoptic Camera)所拍摄并编码的图像进行解码的解码方法、解码装置以及在光学系统的形状上具有特征的电子照相机。

背景技术

图25是用于说明通常的照相机的对焦功能的图。通过对焦镜头121和未图示的其他光学系统(例如变焦光学系统)被聚光的光被投射到配置在像平面121F上的摄像元件27上。如箭头121B所示，对焦镜头121相对于像平面121F的位置能沿着光轴121H而变更。该对焦镜头121的位置在例如自动对焦(AF)等的控制时用于照相机的固件等的处理，并使用离散数值来管理。图中121A表示这种“对焦值”。

在通常的照相机的光学系统包含变焦光学系统的情况下、或者是复杂的光学系统的情况下，对焦镜头121由包含多个透镜的透镜组构成。在该情况下，对焦值121A成为表示这种透镜组的可变更和可控制的总体状态的值。

照相机的镜头以使平面上的物体在平面上成像为基础。这里，将通过配置成规定的对焦值的对焦镜头121没有模糊地成像在像平面121F上的平面称为“最佳的物体平面”。当被摄体位于最佳的物体平面121D上时，在完全对焦的状态下成像在摄像元件127上。通过改变对焦值121A，可改变从像平面121F到最佳的物体平面121D的距离、即被摄体距离121E。对焦值121A与被摄体距离121E一对一对应。

实际上，即使存在与模糊的容许范围对应的被摄场深度121G，并且物体平面121J从最佳的物体平面错开该深度121G的量，光也会在实质上对焦的状态下被投射到摄像元件127上。

图26A示出使用这种通常的照相机进行摄影的情况。首先，通过自动对焦或者用户的手动对焦的操作使焦点对准被摄体X。该动作对应于通过使对焦镜头121沿光轴方向121H移动，来使最佳的物体平面121D与被摄体X的被摄体面一致。图26A示出对焦镜头121移动到某个对焦值121A，并且最佳的物体平面121D与被摄体X的被摄体面一致的状态。当在该状况下按下释放按钮时，来自被摄体X的光经由对焦镜头121在对焦的状态下被投射到摄像元件127上。

与此相对，如图26B所示，全光相机将来自被摄体X的光投射到微透镜阵列25上。即，在图26B中的像平面121F上设置有微透镜阵列，摄像元件127配置在其后方的面上。根据这种结构，投射到微透镜阵列125上的来自被摄体X的各种光线K1、K2、K3被各个微透镜125A分离，被投射到摄像元件127的一部分127A上。因此，在由摄像元件的一部分127A成像的信息内包含有光线方向的信息。另一方面，由于被摄体X的光被投射到微透镜阵列125上，因而可以说，在摄像元件127的成像结果中包含有位置信息，该位置信息表示光线是来自被摄体的哪个位置的光。

这样，全光相机的摄像元件的成像结果即图像信息(光场(LightField)图像)包含有空间中的光线的信息(光线信息)。如上所述，全光相机可对四维的光线信息进行采样。

例如，在美国登记专利6,097,394中公开了对光线信息(光场图像信息)进行编码的方法。在该方法中，为了提高解码速度，采用了矢量量子化。并且，该方法不同于例如在对解码数据的存取较为复杂的动态图像专家组(Moving Picture Experts Group(MPEG))等中采用的预测编码，而是参照码书(Codebook)(字典数据)内的索引并将其输出来进行矢量编码数据的解码。

然而，上述那样的对光线信息进行编码的照相机例如使用一个对焦值进行摄影并对光线信息进行编码和存储。之后，上述照相机读出光线信息并对其进行解码，可根据该信息生成与多个对焦值对应的图像并显示。然而，在上述的美国登记专利6,097,394中，对根据光线信息在什么样的时机生成并显示与多个对焦值对应的图像却未作公开。

在“Fourier Slice Photography”，Ren Ng，Stanford University，2005中公开了傅立叶切片(Fourier Slicing)法，该方法对由全光相机所取得的图像进行重新对焦(Refocus)来生成以各种对焦值进行了对焦的图像。然而，该“Fourier Slice Photography”，Ren Ng，Stanford University，2005对取得光线信息的全光相机等设备在什么样的时机生成并显示与多个对焦值对应的图像却未作公开。