[发明专利]图像处理设备和方法

说明书

本申请要求于2008年10月10日提交的第10-2008-0099611号韩国专利 申请以及于2008年12月3日提交的第10-2008-0121864号韩国专利申请的权 益，所述申请的公开内容通过引用被全部结合于此。

技术领域

以下描述涉及一种摄影器件，更具体地讲，涉及一种利用光场数据来处 理图像的设备和方法。

背景技术

在目前使用的摄影系统中，一个拍摄操作仅能使一个图像被观看。但是， 近来已经进行研究具有聚焦重组功能的全光照相机(plenoptic camera)。也被 称为光场照相机的全光照相机利用微透镜阵列(通常是微粒透镜(lenticuler lens)阵列)或者光编码孔板(light coded mask)捕获关于场景的4维光场信 息。这种全光照相机为用户提供在一个拍摄操作之后再聚焦和视角改变的功 能，所述再聚焦改变焦平面，所述视角改变能使场景从不同的角度被观看。

同时，在很多领域，例如，监控摄像机、用于精确诊断的计算断层摄影 术(CT)图像、用于模式识别的计算机视觉、地质勘查卫星图像等中需要高 分辨率图像。为了获得这种高分辨率图像，正在研究利用信号处理技术从一 系列低分辨率图像中重建高分辨率图像的方法。

发明内容

下面的描述涉及一种图像处理设备和方法，所述图像处理设备通过将光 场数据限定为在高分辨率复原中使用的低分辨率图像，并在所述限定的低分 辨率数据上采用高分辨率图像复原方法来产生高分辨率图像。

根据示例性的一方面，提供了一种图像处理设备，该图像处理设备包括： 图像帧确定器，用于利用关于场景的光场数据确定一个标准图像帧和至少一 个参考图像帧；点扩展函数确定器，基于所述标准图像帧和所述至少一个参 考图像帧之间的子像素位移来确定点扩展函数；图像插值器，用于将所述标 准图像帧插值为具有比标准图像帧高的分辨率的高分辨率标准图像帧；图像 复原器，通过利用产生的所述高分辨率标准图像帧、点扩展函数和所述至少 一个参考图像帧更新高分辨率标准图像帧，来复原高分辨率图像。

这里，所述子像素位移可以是构成所述标准图像帧的至少一个光场数据 与分别对应于所述至少一个光场数据的每个参考图像帧的光场数据之间的位 置差。

所述图像帧确定器可以将利用光场数据产生并从至少一个角度显示的图 像帧中的一个图像帧确定为标准图像帧，并且将从至少一个角度显示的所述 产生的图像帧中除了被确定为标准图像帧的图像帧之外的至少一个图像帧确 定为所述至少一个参考图像帧。或者，所述图像帧确定器可以将利用光场数 据中的每子孔径所获得的光场数据的总值产生的图像帧确定为标准图像帧， 并且将利用在产生标准图像帧中使用的每子孔径的光场数据产生的至少一个 图像帧确定为所述至少一个参考图像帧。

点扩展函数确定器可以将基于标准图像帧和每个参考图像帧之间的子像 素位移的每个2维高斯函数确定为点扩展函数。所述图像插值器可以利用双 线性插值方法或者双三次插值方法插值。

所述图像复原器可包括：残值(residual value)产生器，利用所述产生 的高分辨率标准图像帧、一个参考图像帧以及基于所述一个参考图像帧和标 准图像帧的点扩展函数来产生残值；图像更新器，利用所述残值来更新所述 高分辨率标准图像帧。这里，所述残值可以是所述一个参考图像帧减去高分 辨率标准图像帧与点扩展函数的卷积所得的值。

此外，当所述高分辨率标准图像帧被更新时，所述残值产生器可以利用 更新后的高分辨率标准图像帧、另一个参考图像帧以及基于所述另一个参考 图像帧和标准图像帧的点扩展函数来产生残值。这里，所述残值可以是所述 另一个参考图像帧减去更新的高分辨率标准图像帧与点扩展函数的卷积所得 的值。

所述图像处理设备还可包括光场数据捕获器，所述光场数据捕获器包括： 第一光学单元，用于形成物体的图像；光敏元件阵列，用于捕获光线；第二 光学单元，定位在主透镜和光敏元件之间，基于光线的方向分离光线，并且 将光线引导向所述光敏元件。