[发明专利]图像处理设备和方法

权利要求书

1.一种图像处理设备，包括：

图像帧确定器，用于利用关于场景的光场数据确定一个标准图像帧和至 少一个参考图像帧；

点扩展函数确定器，基于所述标准图像帧和所述至少一个参考图像帧之 间的子像素位移来确定点扩展函数；

图像插值器，用于将所述标准图像帧插值为具有比所述标准图像帧的分 辨率高的分辨率的高分辨率标准图像帧；

图像复原器，所述图像复原器包括残值产生器和图像更新器，残值产生 器利用产生的高分辨率标准图像帧、一个参考图像帧以及基于所述一个参考 图像帧和标准图像帧的点扩展函数来产生残值，图像更新器，利用所述残值 来更新所述高分辨率标准图像帧，

其中，所述残值是所述一个参考图像帧减去高分辨率标准图像帧与点扩 展函数的卷积所得的值。

2.如权利要求1所述的图像处理设备，其中，所述子像素位移是构成所 述标准图像帧的至少一个光场数据与每个参考图像帧的分别对应于所述至少 一个光场数据的光场数据之间的位置差。

3.如权利要求1所述的图像处理设备，其中，所述图像帧确定器将利用 光场数据产生并从至少一个角度显示的图像帧中的一个图像帧确定为标准图 像帧，并且将从至少一个角度显示的所述产生的图像帧中除了被确定为标准 图像帧的图像帧之外的至少一个图像帧确定为所述至少一个参考图像帧。

4.如权利要求1所述的图像处理设备，其中，所述图像帧确定器将利用 光场数据中的每子孔径所获得的光场数据的总值产生的图像帧确定为标准图 像帧，并且将利用在产生标准图像帧的过程中使用的每子孔径的光场数据产 生的至少一个图像帧确定为所述至少一个参考图像帧。

5.如权利要求1所述的图像处理设备，其中，点扩展函数确定器将基于 标准图像帧和每个参考图像帧之间的子像素位移的每个2维高斯函数确定为 点扩展函数。

6.如权利要求1所述的图像处理设备，其中，所述图像插值器利用双线 性插值方法或者双三次插值方法插值。

7.如权利要求1所述的图像处理设备，其中，当所述高分辨率标准图像 帧被更新时，所述残值产生器利用更新后的高分辨率标准图像帧、另一个参 考图像帧和基于所述另一个参考图像帧和标准图像帧的点扩展函数来产生残 值。

8.如权利要求7所述的图像处理设备，其中，所述残值是所述另一个参 考图像帧减去更新的高分辨率标准图像帧与点扩展函数的卷积所得的值。

9.如权利要求1所述的图像处理设备，还包括光场数据捕获器，

其中，所述光场数据捕获器包括：

第一光学单元，用于形成物体的图像；

光敏元件阵列，用于捕获光线；

第二光学单元，定位在主透镜和光敏元件之间，基于光线的方向分离光 线，并且将光线引导向所述光敏元件。

10.一种图像处理方法，包括：

利用关于场景的光场数据确定一个标准图像帧和至少一个参考图像帧；

基于所述标准图像帧和所述至少一个参考图像帧之间的子像素位移来确 定点扩展函数；

将所述标准图像帧插值为具有比所述标准图像帧的分辨率更高的分辨率 的高分辨率标准图像帧；

通过利用产生的所述高分辨率标准图像帧、点扩展函数和所述至少一个 参考图像帧更新高分辨率标准图像帧，来复原高分辨率图像，

其中，复原高分辨率图像的步骤包括：利用产生的高分辨率标准图像帧、 一个参考图像帧以及基于所述一个参考图像帧和标准图像帧的点扩展函数来 产生残值；利用所述残值来更新所述高分辨率标准图像帧，

其中，所述残值是所述一个参考图像帧减去高分辨率标准图像帧与点扩 展函数的卷积所得的值。

11.如权利要求10所述的方法，其中，所述子像素位移是构成所述标准 图像帧的至少一个光场数据与每个参考图像帧的分别对应于所述至少一个光 场数据的光场数据之间的位置差。