[发明专利]检测方法及检测装置

说明书

本发明提出一种检测方法及检测装置，用以检测前景区域。该检测方法及检测装置是根据使用两个已知运动向量的位置匹配结果以将两个非遮挡区域中的一个指定为前景区域来实现前景检测。此前景检测的执行，是通过将在当前帧中当前遮挡区域的位置与在先前帧中先前遮挡区域的一个或多个位置相匹配来实现。匹配的操作是以用于相邻于当前遮挡区域的邻近区域的运动向量为依据。运动向量的确定是根据时序上位在当前帧之前和之后的两个邻近帧来实现。若当前遮挡区域的位置通过两运动向量中的一个而与先前遮挡区域相匹配，则对应该运动向量的邻近区域则被指定为前景区域。本发明所提出的检测方法及检测装置，可检测前景区域。

技术领域

本发明是有关于图像处理，特别是有关于检测在视频序列的多个图像中的前景区域。

背景技术

运动估计(motion estimation)广泛地用于图像处理的方法中，例如，用于在预测或插值的影像中预测或插值移动物体。为了计算影像的每一部分，必须解决遮挡的问题。除了检测影像的遮挡区域以外，也需要识别出前景区域或背景区域的位置，如此可确定用于预测遮挡区域的参数。

遮挡区域(occlusion area)是在一个帧中可见的部分场景，但由于前景物体的妨碍，使得遮挡区域在多个连续影像的一个相邻帧中变得不可见。连续影像中的每一个影像可以是由影像系统所捕获的图像或是基于捕获的图像所获得的插值影像。对于由相机所捕获的连续影像来说，遮挡区域的存在是由于在物体与相机之间的相对位置的改变而导致的。当影像的一些部分变为不可见时，由于投射的关系，背景物体的至少一部分被较接近于相机的前景物体所遮蔽。反过来说，若前景物体在场景中位于较远离相机的地方，则部分背景变为未被遮蔽。变为被遮蔽或未被遮蔽的部分背景物体称作为遮挡区域。当此区域变为被遮蔽或未被遮蔽时，在邻近影像中唯一相配的区域则无法通过运动估计来找到。因此，遮蔽的问题必须特别留意，否则在时序插值中会产生假影(artifact)。

在现有技术中，遮挡检测是基于在两个连续影像之间与两个运动向量相关的像素差异来进行的(美国专利US7995793B2)。两个运动向量中的一个可能等于0，其对应相对于相机静止的背景。图1为以两个运动向量为基础的遮挡检测的示意图。该两个运动向量为在影像系统所捕获两个连续帧(帧(t)与帧(t+1))之间的两个运动向量。帧(t+δ)是根据帧(t)与帧(t+1)而在时序上插值的。确定两个运动向量(即运动向量MV1与运动向量MV2)，来描述在两个帧之间的运动，其中运动向量MV1＝0，其对应于背景区域的零向量。

帧(t+δ)通过根据这两个运动向量中的一个来投影帧(t)与帧(t+1)而形成的。举例来说，由于在帧(t)中的区域101与在帧(t+1)中的区域121之间较好的匹配可通过使用运动向量MV1来获得，因此，在帧(t+δ)中的区域111是根据运动向量MV1来将区域101投射至区域121而形成的。同样地，由于在帧(t)中的区域102与在帧(t+1)中的区域122之间较好的匹配可通过使用运动向量MV2来获得，因此，在帧(t+δ)中的区域112是根据运动向量MV2来将区域102投射至区域122而形成的。然而，对于在帧(t+δ)中的区域113而言，没有任何运动向量可导致在帧(t)与帧(t+1)的对应区域之间的较好匹配。换句话说，不论使用这两个运动向量中的哪一个，对于在帧(t)和帧(t+1)中与帧(t+δ)的区域113相关联的对应区域而言，具有较大的像素差异。

除了检测遮挡区域的位置以外，可确定在邻近影像中的参数以进行遮挡区域的预测。当遮挡区域中的影像内容是来自将被遮蔽或变成未被遮蔽的对应区域时，对应区域的位置应该被识别出。最近被遮蔽或变为未遮蔽的对应区域相邻于邻近影像的背景区域，其中该邻近影像是用来预测相邻于当前帧中遮挡区域的背景区域。因此，此对应区域的位置可间接地通过确定相邻于遮挡区域的前景区域或背景区域来确定。