[发明专利]高分辨率化装置和方法

说明书

技术领域

本发明涉及一种高分辨率化装置和方法，其用于将利用照相机通过拍照获取的图像数据或者通过电视机接收的图像数据转换为更高分辨率的图像数据。

背景技术

最近，具有大量像素，即，具有高分辨率的电视机和显示器得到广泛使用。当在电视机或显示器上显示图像时，在图像数据中包含的像素的数目被转换为在画面中包含的像素的数目。具体地，在像素的数目被增加的高分辨率化转换中，已知一种帧退化逆转换方法，可以获取比通过线性插值更清晰的图像(例如，参见JP-A 2000-188680(公开)[第3到7页，图22]，S.Park，et al.“Super-Resolution Image Reconstruction：A TechnicalOverview”，IEEE Signal Proceeding Magazine，USA，IEEE，May 2003，pp.21-36)。

在所述帧退化逆转换方法中，可以关注这样的事实，在参考帧中出现的对象也出现在另一帧中，并且以比像素间距的等级更高的准确度检测所述对象的运动，从而获取在略微互相分开的位置检测到的多个样本值，其中所述对象的某局部部分位于此位置。通过此处理，获得更高分辨率。

现在将更加详细地描述所述帧退化逆转换方法。在此方法中，当以时序方式排列低分辨率的帧时，将其依序转换为高分辨率的帧。例如，将通过对运动汽车拍照所获得的运动图像的三个连续帧用作为低分辨率图像，并且将所述三个帧中的一个用作为将被实现为高分辨率图像的参考帧。例如，将所述参考帧的水平和垂直像素加倍为高分辨率图像。关于未知的高分辨率图像的像素，仅准备少量的低分辨率图像的像素，即，仅准备少量的已知样本值。即使在这种状态下，也能够估计高分辨率图像的每个像素值。然而，如果增加已知样本值的数目，能够获得更准确的高分辨率图像。为此，在所述帧退化逆转换方法中，检测位于除所述参考帧之外的低分辨率图像的某像素位置处的对象在所述参考帧中的位置。进一步，将所述对象的像素值用作为参考帧中对应点的样本值。

具体地，从低分辨率图像中提取包含某像素作为中心的块(几个像素×几个像素)，并且在参考帧中搜索与所提取的块具有相同大小并且包含接近于所提取块的像素值的像素值的块。进行所述搜索的准确度等级为亚像素(例如，参见Masao Shimizu和Masatoshi Okutomi的“Significanceand Attributes of Sub-Pixel Estimation on Area-Based Matching”IEICETran.Information and Systems.PT.2，December 2002，NO.12，vol.J85-D-II，pp.1791-1800)。所搜索的块的中心被设置为对应于所述某个像素的点。于是，对应于另一个帧的点A和对应于所述参考帧的点B被作为对象的同一个部分互相关联。通过以点A作为起点、点B作为终点的运动向量表示此关系。由于进行此搜索的准确度级别为亚像素，各个运动向量的起点通常是某个像素的位置，而所述终点是在不存在像素的位置。为所述低分辨率图像的所有像素获取这样的运动向量。进一步，在另一个低分辨率图像中检测以各自的像素作为其起点并且与所述参考帧相关的运动向量。此后，将所述运动向量的终点和起点设置为样本值。最后，从这样设置的非均匀样本值获取在网格中均匀排列的高分辨率图像的像素值。例如，利用非均匀插值或POSC方法(例如，参见JP-A 2000-188680(公开)[第3页到第7页，图22]，S.Park et al.“Super-Resolution ImageReconstruction：A Technical Overview”，IEEE Signal ProceedingMagazine，USA，IEEE，May 2003，pp.21-36)进行这些处理。

尽管上述帧退化逆转换方法能够提供清晰的高分辨率图像，但其需要大量的低分辨率图像来获取足够数目的样本值，从而需要大存储容量。

发明内容