[发明专利]图像序列中的运动颤抖消除

说明书

技术领域

本发明涉及图像序列中的运动颤抖消除。

背景技术

典型的运动颤抖消除系统包括三个部件：电影检测器、运动估算器和帧频上变换器。如果系统处理隔行图像序列，则可能存在去隔行器。电影检测器通过分析相继图像之间的信息来检测送入视频序列是否包含运动。这一运动分为几种常见的运动样式。

-视频，指的是每个图像都有运动。我们也说，对于视频，时间距离是1个图像。每个图像称为一个片格(phase)0图像。

-22下拉，指的是每2个图像按照重复的样式有一次运动。我们也将这两个图像中的第一个称为基础图像。我们将基础图像称为片格0图像并且将下一个图像称为片格1图像。对于22下拉而言，时间距离是2个图像。所以片格0和1的相继图像之间没有运动并且在片格1和新的片格0之间有运动。

-32或23下拉，指的是3个图像彼此之间没有运动，然后，2个图像彼此之间没有运动，或者相反。这里，使用了后面的定义。在电影模式下，片格0和3是重复部分的第一个图像。32下拉会得到如下序列：片格0、片格1、片格2、片格3、片格4、片格0、片格1等。片格0、1和2应该涉及同一个第一电影图像，而片格3和4涉及同一个第二电影图像。第一个电影图像中的三个图像中的第一个图像和第二个电影图像中的两个图像中的第一个图像都称为基础图像。第一个基础图像是片格0图像，下一个图像是片格1图像，下一个图像是片格2图像，下一个图像(是基础图像)是片格3，并且下一个图像是片格4。对于32下拉而言，时间距离间歇地为3个和2个图像。所以片格0和1的相继图像之间没有运动，并且片格1和2的相继图像之间没有运动。片格2和3之间有运动，但是片格3和4之间没有运动。从片格4到新的片格0再次有运动。

没有落在这些范畴之一内的任何序列都可以以回退模式对待，回退模式通常等价于为视频样式选择的模式，有可能造成颤抖。按照另外一种可选方案，将会按照22下拉或32下拉对待没有落在这些范畴之内的序列，有可能在帧频上变换器中造成严重的伪影。

如果样式不是视频，则运动估算器典型地将会使用这种样式来估算最近图像与不同于该最近图像的最近图像之间的运动向量。这些向量对于整个图像不是全局的，而是局限于图像的特定区域。这样，这些向量表明部分图像如何随时间移动。这些向量将由帧频上变换器用来在最近的图像与不同于该最近图像的最近图像之间内插新的图像。帧频上变换器输出这些新的图像，而不是原始样式的某些图像。因为现在该序列看起来不是间歇性固定不变的，所以对于观看者而言，运动看起来比较平滑，消除了所谓的颤抖伪影。

可惜，对于上述范畴还存在一些例外：

1.某些电视台，象TMF和MTV，会有规律地广播图像部分具有下拉样式(例如，背景)并且部分具有视频样式(例如广告条、推荐人)的素材。所以，在32下拉模式下，片格0、1和2的图像的电影部分是相同的，而视频部分在这些片格之间是不同的。对于片格3和4也同样有：电影部分相同，而视频部分不同。在22下拉模式下，片格0和1的图像的电影部分是相同的，而视频部分在这些片格之间是不同的。

2.而且在由MPEG编码得到的数字视频画面中，可能存在相当可观的下拉贡献。除了存在于每两个图像之间的运动之外，在这种情况下还有下拉状的运动样式(例如，片格1与片格0之间较高的运动贡献和片格0与片格1之间较低的运动贡献)。按照下拉来处理这种类型的序列会造成严重的去隔行伪影。

就帧频上变换器而言，回退到视频将会在例子1中对下拉部分再次造成颤抖。按照下拉来对待它，将会造成帧频上变换器在视频分量中引入新的颤抖状伪影。而且，运动估算器将会运动估算出矛盾的向量，而去隔行器会引入严重的伪影。

WO 02/056597和WO 2004/054256公开了识别并行出现在电视图像中的电影和视频的方法。

发明内容

除了其它的目的之外，本发明的一个目的是提供一种供包含视频和下拉运动二者的视频图像序列使用的用于运动颤抖消除的有效系统。独立权利要求中定义了本发明。从属权利要求中定义了优选实施方式。