[发明专利]用于检测慢动作的方法和设备

说明书

技术领域

本发明涉及用于检测视频序列中的慢动作的方法和设备

背景技术

当今大量的广播是体育内容。虽然当前的和新兴的消费型产品(如HDD记录器、TiVo或微软媒体中心PC’s)为用户提供了记录许多体育内容的可能性，但是它们不提供对记录的“快速且容易的”浏览并且不提供用于对体育广播进行概述和缩短的装置。

当用户已经知道体育赛事的结果时，观看所记录的该赛事的广播可能变得令人厌烦，并且因此产生了对快速浏览记录或观看仅仅包括该赛事的有趣部分的缩短的版本的需要。然而，使用现存的传统记录器，这是不可能实现的。

一种已知技术是自动提取亮点(highlight)(例如，足球中的进球、网球中的多拍回合球(long rallies)、犯规等等)。在大多数体育赛事中，慢动作序列(重放)可以被认为是亮点的指示，因为导演通常决定将有趣的动作用慢动作从多个角度展示。因此在视频序列中定位慢动作部分是自动提取亮点(特别是体育赛事的亮点)的方法。

广播者使用两种不同的技术来生成慢动作序列。第一种是插值，其将生成慢动作序列作为后处理步骤。普通摄像机的输出(典型地具有每秒25或30帧的帧速率)通过插入重复的或内插的帧被减慢。在第二种技术中，广播者使用高速摄像机，其能够以高达每秒75和90帧的帧速率捕获视频。如果随后在没有跳帧的情况下视频以每秒25或30帧广播，则该结果是慢动作序列。

用高速摄像机产生的慢动作序列比由插值产生的慢动作序列更好。因为高速摄像机在同一时间采用了更多的对象样本，从而结果是对象动作看起来更平滑。

人类容易通过观察序列中的对象没有如预期地运动来检测慢动作部分。根据先前的经验，人类知道某些对象具有某种质量、弹性、摩录像画面交接等等，并且他们预期这些对象相应地运动。例如，当台球以某一速度碰撞时，所述台球存在预期的反冲速度。人类通过注意到这些对象打破了预期的运动规则而认识到慢动作。

存在检测由插值创建的慢动作视频序列的已知系统，比如V.Kobla和D.Doermann，“Detection of Slow-Motion Replays for Identify SportsVideos”，Proceedings of IEEE Third Workshop for Multimedia SportProcessing，pp135-140，1999，以及V.Kobla，D.DeMenthon和D.Doermann，“Identification of sports video using replay text，andcamera motion features”，Proc.of the SPIE Conference on Storage andRetrieval for Media Database，Vol.3972，2000年1月，pp332-343。这些系统通常搜索重复的或内插的帧。已经公开了能够检测用高速摄像机创建的慢动作视频序列的其他系统，例如L.Wungt，X.Liut，S.Liut，G.Xui和H.-Y.Shumt，“Generic Slow-MotionReplay Detection in Sports Video”，2004 International Conference onImage Processing(ICIP)，pp1585-1588。这些技术的使用是通过人类认识到慢动作的方式得到灵感。使用慢动作场景的和非慢动作场景的运动特征对算法进行训练以允许算法了解它们之间的差异。这些系统通常专门用于检测特定(所检测的)摄像机拍摄和对于特定体育运动的慢动作序列。由于该方法非常容易出错，所以一些系统额外地搜索录像画面交接(wipe)的转变或执行与手选的转变标志的模板匹配，广播者在重放序列之前引入了该转变标志(特别是在足球广播中)，例如X.Tong，H.Lu，Q.liu和H.Jin，“Replay Detection in BroadcastingSports Video”，Proceedings of the Third International Conference onImage and Graphics(ICIG’04)。