[发明专利]针对数字图像稳定优化的旋转内插像素的光栅输出

说明书

相关申请的交叉引用

本申请要求于2010年12月23日向美国专利局和商标局提交的临时申请No.61/426,970和No.61/426,975的优先权。这两份申请的公开内容通过引用的方式并入此处。

技术领域

本发明构思涉及数字图像稳定(digital image stabilizaTion，DIS)，并且更具体来说，涉及基于目标元帧(meta-frame)的水平行中像素的窗口内插来旋转源帧的目标帧部分并且以光栅次序输出经内插的目标帧的像素的方法。

背景技术

数字相机、数字摄像机以及包括这些相机捕获的手持设备经常用来在相机在人工操作员手中操作时拍摄图像或者视频。因此，当拍摄图像或视频时摄像机可能在操作员手中摇晃或者抖动。抖动可能包括水平分量、垂直分量以及旋转分量。抖动可以使得手捕获的视频让观看者分心或迷惑，因此期望使用数字电路来数字估计摄像头轨迹(即，在每对连续帧之间检测的抖动)并且从相同场景的视频帧的序列中过滤该抖动。

通过稳定的、要么静止要么移动的视频相机生成的视频主要包含所拍摄的视频中流畅的运动(平移、旋转)。另一方面，不稳定的视频相机生成遍及视频图像具有高频率抖动(平移的和/或旋转的)的视频。

数字图像稳定(DIS)系统首先估计不想要的(无意的)运动，然后对图像序列中的每一帧应用校正(补偿)。稳定视频的视觉效果高度依赖于相机轨迹估计的质量。分析相机/场景的全局运动以将预期的(例如，摇摄)以及无意的(抖动的)全局运动区分开来。

在数学上，仿射几何学(affine geometry)是对通过仿射变换保持不变的几何属性的研究，也即，非奇异线性变换和平移。已经开发了通过数字系数——称作仿射矩阵——定义的数学方程组，将每个连续帧对之间或者其部分(例如，帧中的活动物体)之间检测到的水平、垂直、旋转和缩放(例如，放大或缩小)的运动特征化。仿射变换公式是

x′＝sx*x+ry*y+tx

y′＝rx*x+sy*y+ty

其中(x，y)是目标帧像素位置，

(x’，y’)是在仿射变换之后所计算的源帧像素位置。

sx，ry，rx，sy，tx和ty是仿射变换系数。

所述组的数学描述可以包含场景的线性位移、旋转角度、比例尺等等。

所述相机抖动可以用与场景中任一实际固定的对象(例如，石头、桌子、停放的汽车、山、太阳)相关的第一仿射变换矩阵P(n)特征化，称作主变换P(n)或者全局变换，而帧中的任一移动物体(例如，鸟、人、球、移动的车、经过的火车)可以用附加仿射矩阵T_i(n)特征化。因此，主变换P(n)可以用作帧中背景的运动的简洁描述。具有较小运动的变换更可能成为主变换P(n)。

一旦获得主变换P(n)，它就被应用于所拍摄到的图像数据的源帧，并由此获得校正后的目标帧。当主变换P(n)包含旋转分量时，目标帧的相同行内的源帧数据可以来自源帧的许多不同线(line)。

被标识为与特定目标帧像素位置对应的源帧像素位置可能不与源帧中现有像素的中心完全一致。被标识为与特定目标帧像素位置对应的源帧像素位置甚至可以位于源帧的两个或者四个相邻像素之间等距的位置。因此，那些相邻像素中没有一个将分别具有与对应的目标帧像素相同的亮度和色彩，但是它们的均值将会。当存在旋转运动时，目标帧中许多或者多数像素将不与源帧中的全部像素完全一致。在这样的情况下，必须从源帧的多个相邻像素的图像数据D_sf内插目标帧图像数据D_df的每一个像素。使用基于仿射变换系数sx、ry、rx、sy、tx和ty的仿射变换矩阵执行该内插。然而，因为目标帧相对于源帧有旋转角度，所以目标帧的任一给定行R_d内的像素的源帧数据可能来自源帧的不同行。例如，如果旋转角度是±45度，那么目标帧的中间行R_d内的像素的源帧数据可能来自跨越大多数垂直维度的源帧的源帧行的范围。因此，一种输出目标帧的方法是将源帧划分为瓦片(块)并且仅从多个瓦片(块)中的每一个内插每个目标帧(行R_d)的一部分。