[发明专利]图像处理方法和设备以及视频系统

说明书

技术领域

本发明涉及在多摄像机情况下的图像缝合，具体涉及一种图像处理 方法和设备以及视频系统，能够基于前景信息将多摄像机所拍摄的视频 图像进行平滑缝合。

背景技术

图像传感器在日常生活中的使用越来越广泛，例如监控摄像机、数 码相机、网络摄像头和嵌入在手机中的摄像机等，给人们的带来了很多 方便。通常人们都是使用来自单一摄像机的静止图像(相片)或者视频 图像(视频)。如何利用分布在不同位置的摄像机的图像日渐称为人们关 注的话题。

现有的多摄像机视频缝合技术能够满足这样的需要，该项技术是把 分布式摄像机所拍摄的图像缝合起来，获得全景图像或者分辨率更高的 视频图像。多摄像机视频缝合系统利用不同的摄像机捕获来自不同视点 的图像序列。如果视频源的图像序列具有有限制的重叠区域，则视频缝 合技术可以将输入图像序列融合到宽视点和高分辨率全景图像中。

专利文献1(US20070211934A1)提出了一种简单的技术来加速视 频缝合。在专利文献1中，最初计算多摄像机所拍摄的图像之间的几何 关系，然后利用事先计算的几何关系参数来对相继的帧进行缝合。

但是，在专利文献1的视频缝合中存在的问题是，由于场景是动态 的，运动的物体会导致在缝合结果图像中出现伪像。通常视频内容的场 景随着时间持续较长的时间，大致可以将视频分成前景物和背景区域。 前景物是出现在动态场景中的内容，例如办公室中运动的人，道路上行 驶的车辆等等。背景区域是运动物体后的场景。在视频缝合中，当出现 运动的前景时，就会出现伪像，因为来自多摄像机的图像之间很难同时 保持背景内容的一致。这主要是因为背景和前景的场景深度之间的差异 带来了视差的缘故。

发明内容

本发明的目的是提出一种图像处理方法和设备以及视频系统，能够 基于前景信息将多摄像机所拍摄的视频图像进行平滑缝合。

在本发明的一个方面，提出了一种处理视频图像的方法，该视频图 像是从不同视点捕获的，并且具有重叠区域，所述方法包括步骤：检测 视频图像中是否含有前景物；在视频图像中含有前景物的情况下，对于 每个前景物，从不同视频图像的、包含该前景物的至少一个前景物区域 中选择一个前景物区域作为目标区域；以及将目标区域渲染在背景视频 帧中以创建全景视频。

根据本发明的实施例，所述方法还包括步骤：缝合所述视频图像， 以便更新所述背景视频帧。

根据本发明的实施例，在视频图像中不包含前景物的情况下，缝合 所述视频图像，以便更新所述背景视频帧。

根据本发明的实施例，所述缝合步骤包括基于事先计算的变换参数 缝合所述视频图像的步骤。

根据本发明的实施例，周期性地更新所述背景视频帧。

根据本发明的实施例，在不同视频图像中仅有一幅视频图像中包含 前景物的情况下，将包含该前景物的区域渲染到背景视频帧中。

根据本发明的实施例，所述方法还包括步骤：计算前景物区域之间 的一致性度量，其中所述选择步骤包括：基于所计算的一致性度量，从 至少一个前景物区域中选择所述目标区域。

根据本发明的实施例，所述一致性度量包括以下至少之一：前景物 区域之间的空间关系，前景物区域之间的纹理相似度，前景物区域之间 的运动关系，前景物区域之间的内容相似度。

根据本发明的实施例，将视频图像中出现的运动物检测为前景物。

根据本发明的实施例，针对不同视点的视频图像中的重叠的前景物 区域，如果重叠的前景物区域之间的一致性度量高于预定的阈值，将覆 盖的面积比其他前景物区域大的前景物区域选择为目标区域。

根据本发明的实施例，针对不同视点的视频图像中的重叠的前景物 区域，如果重叠的前景物区域之间的一致性度量低于预定的阈值，则将 重叠的前景物区域缝合，作为目标区域。

根据本发明的实施例，所述渲染步骤包括：将扩展前景物区域与背 景视频帧配准，所述扩展前景物区域覆盖了目标区域并且面积比目标区 域大；以及调整经配准的扩展前景物区域和背景视频帧中的像素的值， 以便将该扩展前景物区域嵌入到背景视频帧中，以创建全景视频。