[发明专利]多模态前景背景分割

说明书

本公开涉及被配置成允许不同背景前景分割模态对分割作出贡献的框架。一方面，基于RGB背景分离、色度键控、IR背景分离、当前深度相对于背景深度以及当前深度相对于阈值背景深度模态来处理各个像素。每一模态可作为因子进行贡献，该框架将因子进行组合以确定关于一像素是前景还是背景的概率。各个概率被馈送入全局分割框架以获得经分割的图像。

技术领域

本申请涉及视频处理，具体来说，涉及视频处理中的前景背景分割技术。

背景技术

在视频处理中，使用分割来将前景对象(例如人)与背景分开。作为在电影和电视中常常使用的一个示例，分割允许前景人物的视频被捕捉并且被置于不同的背景前方。

一种公知的现有分割技术基于色度监控分割(色度键控)，其中通常将已知颜色的屏幕(诸如绿色或有时为蓝色)置于原始背景中。当前景对象出现在屏幕前方时，不匹配该屏幕颜色的任何事物被认为是前景；(这常常被称为“绿幕”，因为绿色屏幕通常被用在背景中，藉此没有着色为绿色的像素被认为是前景像素)。

另一分割技术基于背景减除，其中在前景中没有任何事物的情况下首先捕捉背景，藉此当前景对象(或多个前景对象)存在时，使用前后差异来移除背景。深度感测的最新发展还导致尝试使用深度数据来将前景对象与背景分开。

然而，尽管现有的解决方案在某些情景中提供分割，但它们并不是特别稳健。事实上，随着诸如多相机立体影像被用于从所有视点捕捉前景对象的三维点云，这些解决方案一般是不足够的。例如，色度键控分割一般需要非常受控的条件，藉此照明或背景色中的任何改变都会阻碍性能。此外，色度键控受限于其中屏幕能够被放置在背景中的情形，这常常是不切实际或者是不可能的。背景减除在其中前景和背景类似的消歧区域以及其中图像是有缺陷的(例如模糊的)的区域中存在问题。深度数据遭受噪声，并且因而基于深度的分割在许多情景中是不足够的。

发明内容

提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些代表性概念的选集。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。

简言之，本文描述的主题内容的各个方面的一个或多个方面涉及前景背景分割框架，包括被配置成接受来自不同分割模态的贡献因子的多模态分割算法。多模态分割算法处理各个贡献因子以确定图像的每一元素(例如像素)的前景相对于背景的数据，藉此分割算法能够使用该数据来确定该元素是前景元素还是背景元素。

一个或多个方面涉及处理图像数据的帧，以及处理根据对应的与深度有关的图像计算的深度数据。对图像数据的元素执行背景减除以获得该元素的背景减除贡献因子。可以基于与该元素相关联的深度数据来确定一个或多个其他基于深度的贡献因子。至少部分地基于来自背景减除贡献因子的贡献以及来自一个或多个其他基于深度的贡献因子的贡献来计算经组合的数据项。该数据项结合其他数据项作为对全局二元分割机制的输入以获得经分割的图像。

一个或多个方面涉及选择一像素作为所选像素以及处理像素数据的步骤，处理像素数据包括处理一个或多个图像的RGB像素数据以确定一个或多个RGB贡献因子，该一个或多个RGB贡献因子指示所选像素在当前图像中可能是前景像素还是背景像素。一个或多个红外图像的红外像素数据可以被处理以确定一个或多个IR贡献因子，并且像素深度数据可以被处理以确定一个或多个基于深度的贡献因子。各个贡献因子被组合成所选像素的数据项，独立于任何其他像素的其他数据项而为该所选像素维持该数据项。重复各个步骤以获得多个像素的数据项。

结合附图阅读以下详细描述，本发明的其他优点会变得显而易见。

附图说明

作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示相同或相似的元素，附图中：

图1是表示根据一个或多个示例实现的用于执行多模态前景背景分割的示例组件的框图。