[发明专利]多模态前景背景分割

权利要求书

1.一种用于执行前景/背景分割的系统，包括：

被配置为捕捉场景的图像的至少一个图像捕捉设备；

图像捕捉系统，包括被配置为从所述至少一个图像捕捉设备接收所述场景的所述图像的接口；

包括前景背景分割框架的图像处理系统，所述框架包括：

被配置为执行如下操作的多模态分割组件：

从所述图像捕捉系统接收来自所述场景的所述图像，

从不同的分割模态确定多个贡献因子，其中所述不同的分割模态包括红绿蓝(RGB)背景减除、红外(IR)背景减除、当前计算的深度相对于先前计算的背景深度评估、以及当前计算的深度相对于阈值深度评估，以及

组合所述多个贡献因子以确定所述场景的所述图像的各元素是在所述场景的所述图像的前景还是背景中，所述多个贡献因子包括基于图像的因子、基于深度的因子、以及基于在所述场景内的对象的已知深度的差异因子，所述在所述场景内的对象的已知深度是在确定所述场景的所述图像的所述元素是在所述场景的所述图像的前景还是背景之前就已知的。

2.如权利要求1所述的系统，其特征在于，所述不同分割模态还包括色度键控。

3.如权利要求1所述的系统，其特征在于，所述前景背景分割框架被进一步配置成将每一元素的前景数据相对于背景数据输出到全局二元分割算法。

4.如权利要求1所述的系统，其特征在于，所述框架被配置成为每一贡献因子应用权重。

5.一种用于执行前景/背景分割的方法，包括：

选择场景的图像的一个像素；

访问所述场景的对象的已知深度；

在访问所述场景的对象的已知深度后处理与所述像素相关联的像素数据，包括：

处理红绿蓝(RGB)像素数据以基于所述RGB像素数据和初始背景图像数据之间的差异来确定一个或多个RGB贡献因子指示所述像素可能是前景像素还是背景像素；

处理红外(IR)像素数据以基于所述IR像素数据和所述初始背景图像数据之间的差异来确定一个或多个IR贡献因子指示所述像素可能是前景像素还是背景像素；以及

处理像素深度数据以确定一个或多个基于深度的贡献因子指示所述像素可能是前景像素还是背景像素，包括：

通过比较所述像素深度数据和所述初始背景数据确定第一基于深度的贡献因子，其中所述初始背景数据在无需前景对象的情况下被捕捉；以及

通过将所述像素深度数据和所述场景的对象的所述已知深度进行比较来确定第二基于深度的贡献因子；

组合与所述像素相关联的所述一个或多个RGB贡献因子、所述一个或多个IR贡献因子和所述第一和第二基于深度的贡献因子以计算所述像素的数据项；以及

将所述数据项输入到全局二元分割算法以确定所述像素是前景像素还是背景像素。

6.如权利要求5所述的方法，其特征在于，进一步包括使用色度键控来处理图像数据的帧以获得该像素的色度键控贡献因子，并且其中计算经组合的数据项进一步包括使用所述色度键控贡献因子。

7.如权利要求5所述的方法，其特征在于，进一步包括在计算经组合的数据项时，使用对应于背景相对于前景信息的信息，所述背景相对于前景信息与至少一个其他相机相对应。

8.如权利要求5所述的方法，其特征在于，

(i)处理所述RGB像素数据以确定所述一个或多个RGB贡献因子包括执行以下至少一个：基于先前RGB背景图像和当前RGB图像的背景减除，或者基于已知背景彩色数据和当前RGB图像来执行色度键控，或者

(ii)处理所述IR像素数据以确定所述一个或多个IR贡献因子包括基于先前IR背景图像和当前IR图像来执行背景减除，或者

(iii)处理所述像素深度数据以确定所述一个或多个基于深度的贡献因子包括执行以下至少一个：对照先前背景像素数据来评估当前像素深度数据，或者对照阈值深度数据来评估当前像素深度数据，或者

(iv)(i)、(ii)或(iii)的任意组合。