[发明专利]图像处理装置和图像处理方法

说明书

相关申请的交叉参考

本申请包含于2008年5月19向日本专利局提交的日本优先专 利申请JP 2008-130364的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种适用于使背景的静止图片部分与运动图像拾 取对象部分相互分离的图像处理装置和方法。

背景技术

根据图像信息本身来确定两个画面图像之间的运动矢量的块 匹配技术是一项历史悠久的技术。

块匹配技术是计算包括作为受关注的画面图像的参考画面图 像和从中出现参考画面图像的运动的原始图像(下文称为目标画面 图像)的两个画面图像之间的运动矢量的方法。根据块匹配技术， 通过计算关于预定大小的矩形区域的块(即，目标块和参考块)的 参考画面图像和目标画面图像之间的相关性来计算运动矢量。

块匹配技术包括以下两种情况：目标画面图像在时间上先于参 考画面图像；以及参考画面图像在时间上先于目标画面图像。前一 种情况的实例是通过MPEG(运动图片专家组)方式进行运动检测， 而后一种情况的实例是通过下文所述的图像帧的叠加来降低噪声。

注意，在本说明书中，术语画面图像表示由一帧或一场的图像 数据形成的图像。然而，为了描述方便，在本说明书的以下描述中， 假设一个画面图像由一帧形成。因此，一个画面图像在下文中被称 为一帧。因此，参考画面图像在下文中被称为参考帧，而目标画面 图像在下文中被称为目标帧。

具体地，对于电视相机的云台检测和图像拾取对象跟踪、MPEG 方式的运动图片编码等，已经开发了利用块匹配的运动矢量检测技 术。在90年代，已促进了在包括通过图像叠加进行无传感器相机 抖动校正、低照度下进行图像拾取时的降噪等宽范围内的应用。

此外，利用块匹配的运动矢量检测方法不仅被应用于图像识别 应用和相机抖动校正应用中，而且还被应用于如图像拾取装置的快 门速度的自动调节和液晶电视机的双倍速帧频转换的新应用中。

顺便提及，检测在画面图像中设置的大量目标块中的每一个的 运动矢量(即，局部运动矢量)，并使用以这种方式检测的大量局 部运动矢量来计算表示在两个画面图像之间施加给整个图像的变 形的全局运动。全局运动通常表示运动以及作为图像的静止图片部 分的背景的运动量。

作为相关技术，在日本专利公开第2007-221631号中(下文称 为专利文献1)披露了一种失真校正方法，其中，将一个画面图像 划分为许多块并对每个块确定矢量。然后，以这种方式确定的运动 矢量被直接用于计算全局运动。专利文献1的这种技术直至多年前 都被一直用作主要针对像素数目较小的运动图片的相机抖动校正 技术。

通过专利文献1中披露的技术，可以用低成本的硬件规模来检 测全局运动并实现良好的无传感器或无陀螺相机的抖动校正以及 对高图片质量的静止图片和运动图片的降噪。

同时，作为确定全局运动的方法，已经提出了对所检测的多个 局部运动矢量应用仿射变换的方法。

图51示出了仿射变换作为(表达式1)的通式。参看图51， 在(表达式1)中，v表示目标块的运动矢量的水平分量，w表示 目标块的运动矢量的垂直分量，以及a、b、c、d、e和f表示仿射 参数。在普通的仿射变换中，仿射参数a、b、c、d、e和f都是固 定值。此外，x与y分别表示目标块的中心坐标的水平分量和垂直 分量。

根据通过全局运动的收敛数学运算处理确定的仿射参数以及 每个目标块的中心坐标，获得对应于全局运动的运动矢量。刚刚提 及的这种运动矢量在下文中被称为理想运动矢量。在这些理想矢量 与通过块匹配检测的观察运动矢量之间的误差总和ε被表示为图52 的(表达式2)。

推导全局运动的命题是估计使上述误差总和ε最小化的仿射参 数a～f，并且可以通过例如最小二乘法获得解决。图53、图54和 图55的(表达式3)、另一个(表达式4)和又一个(表达式5)分 别示出了仿射参数a～f的推导过程以及推导过程的结果。

虽然以这种方式较容易地计算仿射变换的参数，但这种计算的 效果很好。因为仿射变换不仅为图像的平移、旋转以及扩展或压缩 做了准备，而且也为一定程度的变形作了准备，所以覆盖了大多数 相机抖动(即，相机工作的精细校正)。

例如，在日本专利公开第2005-321902号(下文中称为专利文 献2)中披露了上述这种仿射变换。

发明内容