[发明专利]图像处理装置和图像处理方法

说明书

技术领域

本发明涉及进行图像中包含的闪烁等失真的减轻处理的图像处理装置和图像处理方法。

背景技术

“影像”是由作为单一静止图像的“帧图像”连续地构成的。在包括影像的取得、传送、压缩(编码、解码)、缩小、放大在内的影像处理中，一般会引起各种失真。因此，减轻影像处理中的失真是一项重要的课题。

另一方面，最近已经开始在便携电话等移动终端中安装照相机，而且，随着移动通信网的高速化，在移动终端中浏览用户通过下载而取得的影像的机会正在增加。因此，下面以移动终端为例，对影像处理中的失真进行说明。

一般要求减小移动终端的尺寸和功耗，因此，相比于通常的单体照相机，安装在移动终端中的照相机的功能会受到限制。因此，由安装在移动终端上的照相机拍摄的影像中有时包含有蚊式噪声和影像闪烁。另外，从高效利用传送频带的的角度看，在使用移动通信网的影像发布中，一般会对影像数据进行压缩处理。因此，影像中经常包含有闪烁、块(block)失真、折叠(aliasing)失真、振铃(ringing)失真。影像中所包含的失真的差异往往会直接关系到对图像质量的评价，显然，越是失真少的影像，越会被评价为高质量。

【非专利文献1】大山正·今井省吾·和気典二、「新编感觉·知觉·心理ハンドブツク」誠心書房、ISBN：4414305039第583页

为了减轻上述的影像处理中的各种失真，一般需要执行大量的图像处理运算。但另一方面，在安装能够执行大量图像处理运算的高性能CPU的情况下，装置复杂化和装置成本增加令人担心。尤其对于移动终端，由于强烈要求避免装置复杂化和装置成本增加，所以，实际上很难安装高性能的CPU。

发明内容

考虑到上述实际情况，本发明的目的在于减轻影像中包含的失真，同时削减失真减轻处理的运算量。

为了达到上述目的，本发明的图像处理装置的特征在于，具有：图像输入单元，其从外部输入由多个帧图像构成的影像信号；已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中，至少提取时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，其中，所述频率成分处理单元避免对所述时间高频成分中的、视觉特性敏感度低的成分执行所述预定的系数处理。

本发明人想到了如下技术：提取包含在所输入的帧图像的处理对象像素组与已处理帧图像的已处理像素组之间的时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，由此来减轻包含在处理对象像素组与已处理像素组之间的时间上的变化，高效地减轻闪烁等失真。

另一方面，众所周知，人眼的特性由两个具有不同特征的系统构成，这两个系统是对于影像的空间低频成分和时间高频成分敏感度高的过渡系统和对于影像的空间高频成分和时间低频成分敏感度高的持续系统(参照非专利文献1)。

基于这样的认识，本发明人实现了如下发明：在对时间高频成分执行预定的系数处理时，避免对时间高频成分中的“视觉特性敏感度低的成分”执行预定的系数处理。根据该发明，能够在基本不降低影像中包含的失真的减轻效果的情况下，削减失真减轻处理的运算量。

上述“视觉特性敏感度低的成分”相当于时间高频成分中的除空间低频成分和空间高频成分以外的部分(所谓的“空间中频成分”)。因此，从另一角度来看，避免对时间高频成分中的“视觉特性敏感度低的成分”执行预定的系数处理可理解为是对时间高频成分中的空间低频成分和空间高频成分执行预定的系数处理。