[发明专利]视频序列中产生对象标识图象的装置和方法

说明书

发明背景

发明领域

本发明是关于由视频序列提取出询问对象的设备和方法及为询问对象产生对象标识图象。

相关技术的描述

在传统技术中，为了在运动图象中产生对象标识，询问对象是在运动视频序列中由手工从每幅图象提取出来的。最近，公布了无需多余操作的自动提取对象方法。

图象自动提取对象方法包括了基于运动的提取方法和基于特征的提取方法。基于运动的提取方法又包含了基于帧差的提取法，背景删减提取法，运动分析提取法。帧差提取法，如美国专利第5,500,904和5,109,435号中披露，由计算一幅图象中连续的帧的不同亮度来提取运动对象。背景删减提取法，如美国专利第5,748,775号中披露，背景图象是由该图象的特征参数的暂短改变而得以恢复，而对象区域是根据原图象和背景的不同而提取的。在运动分析提取法中，如美国联邦专利第5,862,508号中披露，运动区域是通过计算运动对象的运动方向及速度而被提取的。

然而，上述对象区域提取法只适用于对象的运动速度在一定范围内。如果对象为静止，或以很慢速度运动，或以很高速度运动，上述方法就很难应用。

利用对象区域的特征值来解决问题包括了模板匹配提取法，如美国联邦专利第5,943,442号中披露，多值阈值提取法，如美国专利第5,138,671号中披露，为一种特征值对照方法。为了利用这些方法从运动图象数据中提取出询问对象，上述方法必须对所有有询问对象的帧进行解算，这样就需要大量时间。

                          发明概要

为了解决上述问题，本发明的一个目标即为提供了一种设备和方法，用于在运动图象中产生对象标识图象，其中询问对象区域可基于关键帧而在每一帧中自动被提取，而无需进行任何手工操作，也无需考虑对象的运动程度，且在各帧中产生基于相应的询问对象的信息而得到标识的对象图象。

为了达到本发明目标，提供了一种接收包含所要提取的询问对象的视频序列，及产生基于询问对象的对象标识图象的方法。该方法包括如下步骤：(a)将视频序列分解为一段或多段片段(shot)，每段片段包含了有相似画面的一系列帧，在该段片段中选出一个或几个关键帧；(b)从每个关键帧中提取基于初始对象区域的询问对象；(c)根据基于初始对象区域的相应询问图象，在每段片段的所有帧中跟踪对象区域；以及，(d)根据相应的询问对象的信息，标识在每一帧中跟踪的对象区域。

为了达到本发明的该目标，提供了一种设备，用于接收包含所要提取的询问对象的视频序列及根据该询问对象而产生对象标识图象。该设备包括：一个摄影及关键帧设定单元，用于将视频序列分解为一段或多段片段，每段片段包含了有相似画面的一系列帧，在该段片段中选出一个或几个关键帧；一个初始对象区域提取器，用于提取每个关键帧中基于初始对象区域的询问对象；一个对象区域跟踪器，用于标识在每一帧中跟踪的对象区域，在每段片段中的所有帧中跟踪对象区域根据基于初始对象区域的相应询问图象；一个对象标识图象产生器，用于根据相应的询问对象的信息，标识在每一帧中跟踪的对象区域。

                      插图的简要描述

参照附图，并通过描述优选实施例，上述目标及本发明的优点将更为显而易见。

图1为应用本发明的基于对象的交互式服务系统的框图。

图2为根据本发明的用于产生对象标识图象的设备的框图。

图3中3A和3B为本发明的用于产生对象标识图象的方法的流程图。

图4为分解为p段片段及每段片段的关键帧的视频序列的一个例子。

图5为分解为9段片段及每段片段的关键帧的视频列的一个例子。

图6为一个图象帧及在此图象帧中的询问对象的一个例子。

图7对象标识和相应的标识号的一个例子。

图8为对象被标识并标出质心及包含对象的最小矩形的例子。

图9为利用图8中对象标识的质心及包含对象的最小矩形的坐标值。

图10显示了应用本发明的基于对象的交互式服务的一个实施例。

                        发明的详细描述

图1为应用于本发明的基于对象的交互式服务系统的流程示意图。该基于对象的交互式服务系统包括用户终端100，服务器120，用于视频序列的图象数据库(DB)130，和用于感兴趣的对象的对象数据库DB140。

作为本发明的一个应用例子，为基于对象交互式服务系统的服务，如图1中所示，在运动图象数据中的一个或多个对象区域-它们相应于一个或多个询问对象-将作为对象标识图象而得到产生。