[发明专利]一种面向合成应用的多层次仿射类抠像方法

说明书

本发明公开了一种面向合成应用的多层次仿射类抠像方法。步骤1：利用基于HSV颜色空间的仿射类方法，针对实体像素计算初级α^HSV值，并为后续步骤提供实体像素的先验值；步骤2：利用初级α^HSV值、直接搜索、间接搜索与拟合性约束，针对混合像素计算初级前景F^pre与背景B^pre，并为后续步骤提供α与前景的混合像素的先验值；步骤3：利用步骤1的α与前景的混合像素的先验值，并引入联合性Laplacian抠像矩阵与拟合性约束，同步求出最终的α^*与前景值F；步骤4：利用步骤3最终的α^*与前景值F与新背景B′合成图像I′。本发明采用搜索范围更远的KNN仿射类求解方法取代最近邻方法，以期获取空间距离更远的样本。

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种面向合成应用的多层次仿射类抠像方法。

背景技术

数字图像抠像问题是数字图像处理领域中的经典问题，其主要目标将提取前景目标信息，并将其合成到新背景中。在数学描述中，图像中的某点i的颜色I_i是它的前景颜色F_i与背景颜色B_i的线性组合：

I_i＝α_iF_i+(1-α_i)B_i (1)

其中α_i为i点的透明度因子且α_i∈[0，1]。α_i＝1或α_i＝1表示实体前景像素与实体背景像素，而0＜α_i＜1的点称作混合像素，通常出现在前景物体的边缘处及半透明物体内部。数字抠像步骤可描述为给出3通道的合成图像I，根据抠像公式(1)，求解出1个通道的α和3个通道的F与B，形成{F，B，α}求解序列。而合成步骤则是抽取抠像步骤求得的{F，α}值，并结合新背景B′与抠像公式(1)，计算出新的合成图像I′。显然，抠像步骤的求解是一个欠约束问题，同时也是难点问题与关键问题。同时，合成步骤虽然比抠像步骤简单很多，但却是抠像问题的终极目标：单纯进行的抠像步骤也仅限为理论层面的分析，与合成问题合二为一才能达成实际应用的目的。抠像步骤需要用户手工输入一个三分模板，记为Trimap，用来粗略的标注一部分实体前景区域Ω_F与实体背景区域Ω_B，剩余像素为需要后续计算的像素区域Ω_U。

目前在基于Trimap的抠像方法中，对α的求解也通常被认定为抠像步骤的核心目标与核心难点问题，也被普遍认为体现了抠像算法成败的决定因素，但各类抠像算法大多忽略了对F和B的计算，其中甚至包括目前主流的基于深度神经网络的抠像类方法。然而，F的计算终究是后续合成步骤的必要条件之一，仅仅局限于α的计算完全属于理论研究层面，只有同时计算F才是将抠像问题引领至实际应用的层面。

计算{F，α}的抠像方法中，第一类为采样类方法。可以概括为隐式计算与显式计算2种。Robust、Comprehensive、WCT、KLD-Sparse等采样类抠像方法是一类隐性计算F的方法，它们在计算α时并未明确提及F的计算，但在利用采样方法计算初级α时，可以同步还原最优α所对应的F(与B)的样本值。然而，该类均需要利用仿射类方法进行后处理，此时无法计算通过加入仿射项计算α后的F的值。Shared算法是通过显式方法明确计算出F(与B)的值，它同样在利用采样方法计算α时，保留了当前点最优的F与B值。然而该方法可以不采用仿射类方法进行后处理，而是可选用一个α平滑步骤计算出最终的F(与B)。Bayesian方法采用了贝叶斯框架同时求解α及F与B，鉴于其采用局部采样方式，可以将它看作一种大致与Robust方法近似的显式求解方法。Geodesic采取了一种采样类方式，在已知前景与背景边缘处采集若干局部样本，最优F样本与B样本要基于在已求得的α和输入的合成图像I的基础上，使得抠像公式拟合误差最小。