[发明专利]一种自迭代式的局部绿幕抠像方法

权利要求书

1.一种自迭代式的局部绿幕抠像方法，包括预处理阶段和正式运行阶段；预处理阶段用迭代的方式得到尽量准确的绿幕区域(如图1中所示)，以得到更好的相机姿态和精准的色键；正式运行阶段是进行逼真的虚拟场景合成以及抠像；

(1)在整个过程中，相机和绿幕的位置都是固定的；

(2)在预处理阶段，绿幕前没有人、物等前景，而在正式运行阶段，绿幕前会加入人、物等前景进行抠像。

其特征在于，具体步骤如下：

第一步，根据参考帧F_R上的关键点集对F_t进行点匹配，找出当前帧F_t对应的关键点集；

Step 1点匹配：当前帧F_t，是一张摄像机拍摄的无前景的绿幕图像。参考帧F_R，是一张事先得到的标准绿幕图像。该图像中的绿幕区域的边缘、端点及比对关键点皆为已知。

假设，当前在参考帧F_R上，有关键点集包含N个关键点。每一个关键点2D像素位置为图像特征为且有上一步估计的单应矩阵为H_t-1(当t＝1时，H_t-1＝I也即单位矩阵)，所对应的在当前帧F_t上有搜索域：

其中，||·||为二范数(欧氏距离)函数，ε为搜索范围的半径。注意，对于在区域中，匹配算法确定该关键点为：

其中，是当前帧F_t上2D位置为的关键点的图像特征。

在第一次点匹配的过程中，H_t-1为单位矩阵，要想在当前帧搜索到参考帧的关键点所对应的关键点，需要将搜索范围ε定为无穷大。

第二步，根据这两个点集的几何位置得出单应矩阵H_t，计算得到估计的绿幕区域B和姿态估计；

Step 2计算单应矩阵：假设在点匹配后，在当前帧F_t上找到对应参考帧关键点集的关键点集也就得到了有若干关键点对的匹配图，如图2所示。

F_t的绿幕区域则可通过两帧之间的坐标转换矩阵H_t得到。H_t也叫单应矩阵，具体来说，假设F_R上关键点对应当前帧F_t上的点且它们的2D坐标分别为和则两帧之间的单应矩阵满足：

根据两个关键点集的坐标位置，采用解多元方程组的方法计算出H_t，也可以通过使用RANSAC方法来提高对H_t估计的鲁棒性。在估算的单应矩阵H_t的基础上，算法把参考帧的绿幕的四个顶点坐标投影到当前帧上，得到绿幕在当前帧所占区域的估计B，如图3所示。通过三维物体成像公式估算出相机与绿幕之间的位置关系，即相机姿态。

第三、四步，先对区域B进行色键抽取，再根据公式计算α值，得到绿幕区域掩膜A_t；

Step 3取色键：估计的绿幕区域B应为一四边形(可能被图像边缘截断)。可知四边的解析方程式为：

由于存在关键点误匹配的现象，估算的H_t不是很准确，导致得到的绿幕区域B和真实绿幕区域相差较大，需要下面的步骤来修正。

在区域B中取色键，进行抠像。先将B区域内像素的RGB值通过下式转化为YUV值：

可以得到区域内所有像素点的UV值，然后对该区域内的像素点取色键。取色键可以用K-Means聚类方法。

Step 4α值估计：求取d值的基本思路均是利用一定先验条件求解方程：

I_z＝α_zF+(1-α_z)B′

其中，α_z＝1表示像素I_z属于前景F；α_z＝0表示像素I_z属于背景_BB′；若α_z∈(0，1)，则表示像素I_z是前景和背景的混合。所以在得到色键后，要进行α值的估计，得到前景和背景。α值是通过下式得出：

其中，I＝{(u₁，v₁)，(u₂，v₂)，...(u_z，v_z)…(u_n，v_n)}是当前帧像素的U、V值集合，(u_i，v_i)是上一步得到的色键的UV值，m和n是超参数。由于α值范围在[0，1]，所以要将上式的结果d输入到Sigmoid函数，映射在[0，1]区间上，得到当前帧每一个像素的α值。将帧像素分为三类：前景F，背景B′以及混合像素集合M，也就是绿幕区域掩膜A_t。

第五步，对A_t求取边缘处理和霍夫变换，确定该区域的边界，得到新的绿幕四边形区域B″和新的单应矩阵同时计算出更准确的相机姿态；

Step 5提取直线：在得到A_t之后，对A_t进行坎尼算子求取边缘处理(如图4所示)，进行霍夫变换(如图5所示)：通过对直线参数空间的投票，估计出图像空间中的主要直线的解析方程式{l′₁，l′₂，l′₃，…，l′_Q}。在该集合中，对应上文每一条已经估计的四条边缘直线l_i，提出一根与之最接近的直线，于是算法得到4根霍夫算法估计的边缘线(如图6所示)，这四根边缘直线同样确定了一个四边形，也就是新的绿幕四边形区域B″。利用该四边形B″确定的四个顶点位置，可以估计出新的单应矩阵H′_t，对H′_t和H_t求均值，算法得到更新后的单应矩阵(注意此处有专门的计算公式，不是简单的代数均值)。已知更新后的通过三维物体成像公式估算出更准确的相机姿态。

第六步，重复上述步骤，不断更新单应矩阵，动态调整热点区域，直到点匹配的搜索范围ε小于给定的预设值，或者迭代步数达到预设上限，即可得到精准的相机姿态和色键；

Step 6迭代：下一次迭代依旧是对当前帧F_t与参考帧F_R进行点匹配，将上一步估计的单应矩阵作为当前帧的H_t-1，且已知参考帧的比对关键点。在点匹配的搜索过程中，由于H_t-1变得准确，缩小搜索范围ε即可得到对应特征点。计算单应矩阵得到的热点区域会更接近真实绿幕区域的位置，相机姿态的估计也更精准提高了取色键的精度。随后取色键和计算α值，优化绿幕区域掩膜A_t，经过再一次的霍夫变换更新H_t后，得到更精准的绿幕区域和姿态估计，也就达到了迭代优化相机姿态估计和绿幕估计区域的目的。

重复1-5步骤，不断更新H_t，逐渐缩小点匹配搜索范围，校正估计的相机姿态，动态调整热点区域，提高取色键的精度，直到搜索范围ε小于预设值，或者迭代步数达到预设上限，几轮迭代结束后即可得到精准的相机姿态和色键。

第七步，基于预处理阶段得到的相机姿态放置虚拟场景；

基于预处理阶段得到的精准相机姿态，将当前画面抠像后放置在虚拟3D空间中，达到虚实结合的效果

第八步，根据预处理阶段得到的精准色键对每一帧来进行像素级抠像；

使用预处理阶段得到的精准色键对每一帧进行抠像，得到高质量的抠像结果。。