[发明专利]一种视频抠像处理方法

说明书

技术领域

本发明涉及一种数字图像以及数字视频处理中的高效的视频抠像处理方法。

背景技术

视频抠像是数字抠像的一个重要分支，是视频编辑的一项重要技术，用于提取视频中的感兴趣物体，并将提取的物体合成到新的场景中，得到一段具有特殊效果的视频。视频抠像技术在影视制作、远程视频会议、虚拟现实、增强现实、数字家庭娱乐等方面有着广泛的应用，它可以将实际拍摄的景物与电脑制作的虚拟场景完美的结合起来，将更加震撼的视觉冲击效果呈现给观众。

根据处理对像的不同，数字抠像可以分为两类，即图像抠像和视频抠像，其中图像抠像又可以看作是视频抠像的基础。根据图像合成公式，图像上的一点c的颜色值C可以表示为前景颜色F与背景颜色值B的凸组合，即：C＝αF+(1-α)B。因而抠像问题就可以定义为图像合成的逆过程，即：对给定图像上的点c，求c点的颜色值C所包含的前景颜色F，背景颜色B以及不透明度α，通常情况下，B是不需要的，因此，求取F与α就成为抠像问题的核心。对于单一图像，抠像是一个欠约束问题，有无数组解，抠像问题的难点也就在于从这无数组解中找到最合理的解。

最早的抠像技术是蓝屏抠像，它要求输入图像的背景颜色为固定的单一颜色，利用图像中背景与前景物体颜色的不同，达到准确抠取前景的目的。蓝屏抠像技术简单有效，计算量小，可以达到实时处理。但是它对背景颜色的严格要求，极大的限制了它的应用范围，使得这项技术到目前为止也只是在影视业中得到应用。

由于设备与场地的限制，我们平时所拍摄的都是自然场景下的视频，因此，自然图像抠像技术(natural image matting)逐渐成为当前研究的热点。目前，在研究者们的努力下，自然图像抠像已经出现了几种切实可行的交互式方法。其中有代表性的有贝叶斯方法(Bayesian matting)、泊松方法(Poisson matting)、鲁棒性方法(Robust matting)、闭合式方法(Closed-form matting)、谱分析法(Spectral matting)、软分割剪刀(Soft Scissors)等。根据用户的输入，这些方法又可以分为两类，第一类需要用户输入一个精细的遮罩(trimap)，如贝叶斯方法、泊松方法和鲁棒性方法等都属于这一类。遮罩是与待抠取图像对应的一幅灰度图像，它用白色表示确定的前景，黑色表示确定的背景，灰色表示未知区域。制作一个精细的遮罩是一件费时费力的工作，而且需要一定的经验，否则很难一次性制作一个合适的遮罩。第二类方法仅需要用户提供一些笔画式输入(可以看作是一种稀疏的遮罩，sparse trimap)，闭合式方法就属于这一类，这类方法虽然在一定程度上减小的用户的交互量，但是增加了算法本身的复杂度，需要较大的时间与空间开销，对高分辨率的图片一般都会因为空间开销太大而无法完成。谱分析法和软分割剪刀是两种比较特殊的方法。谱分析方法是一种完全自动的抠像方法，是通过类比谱分析图像分割理论而得到的一种方法。虽然能够达到自动抠像的目的，但是它却存在固有缺陷，也就是它只能抠取视觉上与背景明显可分的前景物体，而且需要大量的内存开销。软分割剪刀可以看作是一种能够实时反映用户交互结果的抠像方法。用户只需要用鼠标沿着前景物体的边缘勾勒出需要进行抠像的未知区域，算法就可以实时的计算出抠像结果，虽然这个方法可以快速方便的抠取前景物体，但是它本质上还是一种基于遮罩的方法，对于拓扑结构复杂的前景物体的抠取仍有较大难度。

随着自然图像抠像技术研究的深入，研究者们自然而然的想到将自然图像抠像技术扩展到视频抠像领域。目前文献中提取的视频抠像技术主要有贝叶斯视频抠像技术(Bayesian video matting)、散焦视频抠像技术(Defocus videomatting)、基于摄像机阵列的自然视频抠像(Natural video matting usingcamera arrays)和交互式时空一致的视频抠图方法(一种数字视频处理中交互式时空一致的视频抠图方法，专利公开号CN 101098475A)。

贝叶斯视频抠像技术是自然图像贝叶斯抠像技术在视频上的扩展，其主要思路是在输入视频流的关键帧上由用户交互生成遮罩，然后用光流法在帧之间进行双向跟踪，将关键帧上的遮罩扩散到其他帧，从而在一定程度上减少了用户交互制作遮罩的工作量。该方法的缺点在于，光流估计本身的不准确影响了生成的遮罩的准确度，尤其是当两帧之间物体运动的幅度较大的时候，这种影响更加突出。