[发明专利]用于运动分析的系统

说明书

技术领域

本发明涉及成像在视频图像帧的流中的物体的运动矢量的高效计算。

背景技术

通常用专用硬件，或者用需要强化处理的软件来执行成像在视频图像帧的流中的物体的运动矢量的实时计算。

现有技术的运动场估计很大程度上专门用于特定应用的硬件，这些特定应用例如流体度量和目标跟踪。这些应用通常需要昂贵的设备或精确的估计。当前没有产品实现了光流概念的“轻型”实时实施。

使用相连的相机和运动检测以便提供交互式游戏的系统例如是SonyPlaystation。Sony产品称为EyeToy^TM，在名称EyeToy^TM上的其它变化例如EyeToy：Play2^TM。可以在万维网(World Wide Web)的www.us.playstation.com/pressreleases.aspx？id＝283上找到对Sony EyeToy^TM的实例参考文件。

以下参考也被认为是代表了现有技术：

Iu等人的美国专利6,658,059；

Griessl等人的美国专利6,370,196；

Konolige的美国公开专利申请2005/0100207；

SRIIternational的PCT公开专利申请WO98/03021；

Dynapel Systems Inc.的PCT公开专利申请WO01/96982；

Queen Mary & Westfield College的PCT公开专利申请WO05/006762；

Sony Corporation的欧洲专利申请No.EP0557007；和

GMD-Forschungszentrum Informationstechnik Gmbh的欧洲专利EP0966727。

上述全部参考文件的公开内容及本说明书的全文，以及在这些参考文件中提及的全部参考文件的公开内容由此合并于此作为参考。

发明内容

本发明设法提供一种改进的系统和方法，用于实时确定成像在视频图像帧的流中的物体的运动矢量。

在本发明的优选实施例中，本发明使应用程序以高效计算方式来确定物体的运动矢量。为了实时的执行计算，在相对弱的CPU型机顶盒上利用了光学原理、模式匹配和物体运动的随机情况之间的结合。

通过以原始方式结合不同的计算方法、收敛于实时执行的运动矢量的估计值，在低成本硬件上，例如具有标准处理器的机顶盒上，简化了运动矢量的确定。

研发了本发明的优选实施例，用于在命名为“PILOTIME”的机顶盒上运行。可以从法国的THOMSON，46quai Alphonse Le Gallo，92100Boulogne-Billancourt商业购买到该“PILOTIME”机顶盒。在PILOTIME机顶盒上的实现展示了在相对常用、相对便宜的设备上的光流概念的实时实施。

根据本发明的优选实施例，按如下确定运动矢量：

首先，选择在第一图像帧中的区域，这个区域优选地包括运动的物体。将该区域再分为块，其在此称为帧要素(frame element)。所述帧要素包括具有相关像素值的多个像素。在每一个帧要素中，优选地相对于每一个帧要素来归一化像素值，以避免在第一图像帧中的亮度变化影响。

注意到，为第一图像中的每一个帧要素分别确定运动矢量。为描绘运动物体的帧要素确定的运动矢量优选地会基本上等于物体的运动矢量，而没有描绘运动物体的帧要素优选地会具有背景的运动矢量。

其次，通常在每一个归一化帧要素中选择一个或多个参考像素。

第三，为每一个参考像素计算光流，产生光流线和与光流线有关的误差范围。光流线和误差范围定义了一区域。

第四，第一图像帧的每一个归一化帧要素都执行模式匹配步骤，模式匹配是在第一图像帧的归一化帧要素与第二(通常是之后紧接着的)图像帧的归一化测试帧要素之间进行的。优选地，将归一化测试帧要素相对于第一图像帧的归一化帧要素的位移限制为在上述的区域内。模式匹配的结果是模式匹配得分和位移矢量，它们与测试帧要素的相应位移相关联。

选择最低模式匹配得分，其与具有最佳配合的位移相对应，使用该相应的位移矢量来计算物体的运动矢量，从而确定运动矢量。

在本发明的优选实施例中，本发明通常使用对二次方程的逼近，以便简化计算。