[发明专利]图像处理方法、编码设备、解码设备以及图像处理装置

说明书

技术领域

本发明涉及一种适于处理例如由高速摄像机拍摄的高速图像的图像处理方法、编码设备、解码设备以及图像处理装置。

背景技术

为实现以慢动作再现图像，最近市场上出现了能以每秒数百到数千帧的高帧率来成像的高速摄像机，其帧率比普通相机的帧率(每秒24或30帧)高很多。

作为示例，日本专利申请特开No.2010-278481(以下指专利文件1)描述了一种有关数据处理装置的技术，该数据处理装置能通过高速摄像机采集高速视频，对高速视频执行信号处理并且以慢动作再现视频。专利文件1的数据处理装置以n帧为单元划分高速摄像机拍摄的高速视频，并且将结果帧存入数据存储装置。该数据处理装置从数据存储装置读取帧，对这些帧进行压缩并编码，并且将这些帧记录在数据存储装置上作为流数据。记录在数据存储装置上的流数据通过该数据处理装置中的解码设备被解码，然后被提供给显示设备以供显示。对于专利文件1的这样的数据处理装置，描述了不使用高性能处理装置的效果，因为摄像机输出信号是以独立的帧为基础被处理的，这与对直接接收的摄像机输出信号执行一系列处理的情况不同。

发明内容

高速摄像机拍摄的图像数据(以下称作“高速图像数据”)数据量巨大。因此，如果高速图像数据经过作为图像处理的普通信号处理，则信号处理的总的操作复杂性亦将大大增加。尽管诸如CPU(中央处理单元)之类的近期的处理单元在处理速度上已的确显著提高，但在时间受限的情况下，对每秒数百帧到数千帧的高帧率的高速图像执行图像处理必然导致增加使用的硬件资源。

鉴于上述情况，希望提供一种能减少处理信号用的硬件的大小并提高图像传输效率的图像处理方法、编码设备、解码设备和图像处理装置。

根据本发明的实施例，提供了一种信息处理方法，包括：将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数；计算所分离的至少一个第二帧与第一帧之间的低频分量差值；对第一帧执行用户设计的信号处理；利用经过所述信号处理的所述第一帧中的低频分量和所述低频分量差值，来解压缩近似地经过所述信号处理的所述至少一个第二帧中的低频分量；以及利用解压缩的所述至少一个第二帧中的低频分量以及所述至少一个第二帧中的高频分量，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

利用这样的信息处理方法，仅仅通过对第一帧执行信号处理，将要再现的图像就近似地全部经过信号处理。这因此减少了信号处理部的大小，并且还降低了功率消耗。此外，利用此图像处理方法，减少了第二帧的代码的传输量，因此提高了图像传输效率。

该信息处理方法还包括：对所述至少一个第二帧中的与所述信号处理之前的第一帧的低频分量差值在阈值以上的像素执行所述信号处理。这因此提高了对第二帧执行信号处理的质量，使得可预期增加第一和第二帧连续再现时的图像质量。

该信息处理方法还包括：通过分析至少所分离的至少一个第二帧中的频率分量以提取作为特征点的像素，通过对这些像素执行信号处理，并且通过根据信号处理结果生成插值值以用于替换不是特征点的像素的值，来解压缩近似地经过所述信号处理的所述至少一个第二帧。这样，特别是在第二帧中的像素按照预期无需全部经过信号处理，即使在此情况下，所得的图像与对帧全部执行信号处理的图像实质上相同。因此对第二帧的信号处理执行得更好，并且因此可按照预期提高第一和第二帧连续再现时的图像质量。

根据本发明的另一实施例，提供了一种编码设备，该编码设备包括帧分离部、第一分频部、差值生成部、压缩与编码部、第一信号处理部和传输部。帧分离部被配置为将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数。第一分频部被配置为将所分离的第一帧和至少一个第二帧中的每个分成低频分量以及高频分量。差值生成部被配置为生成所述至少一个第二帧与所述第一帧之间的低频分量的差值数据。压缩编码部被配置为对所述至少一个第二帧中的高频分量和所述差值数据进行压缩并编码。第一信号处理部被配置为对所分离的第一帧执行用户指定的信号处理。传输部被配置为传输经压缩并编码的所述至少一个第二帧中的高频分量和所述差值数据以及经过了所述信号处理的所述第一帧。