[发明专利]一种自迭代式的局部绿幕抠像方法

说明书

本发明提供一种自迭代式的局部绿幕抠像方法，包括预处理阶段和正式运行阶段；预处理阶段用迭代的方式得到尽量准确的绿幕区域，以得到更好的相机姿态和精准的色键；正式运行阶段是进行逼真的虚拟场景合成以及抠像；(1)在整个过程中，相机和绿幕的位置都是固定的；(2)在预处理阶段，绿幕前没有人、物等前景，而在正式运行阶段，绿幕前会加入人、物等前景进行抠像；与现有技术相比，本发明突破了传统色键抠像的限制，不受拍摄环境的约束，成本低廉，能够在自然环境下同时进行精确的相机姿态估计以及像素级抠像。该算法有自动、实用、快速、精度高的优点。

技术领域

本发明涉及绿幕抠像方法技术领域，尤其涉及一种自迭代式的局部绿幕抠像方法。

背景技术

在当今的影视工业中，经常需要使用色键抠像技术(Chroma-Key imagematting)，该技术需要表演者身处绿箱(纯绿色背景的半封闭空间)中进行表演，算法拾取背景中的典型绿色设为色键(Chroma-Key)用以区分前景区域(表演者或装置)和背景区域(绿色墙面)，在精确检测出摄像机视野里所有属于背景的像素区域后，算法可以将当前绿色背景替换成任何指定场景，以达到在可控成本下丰富视觉表达的目的；

近年来随着虚拟现实及混合现实应用的推广，色键抠像后的前景经常需要与3D的虚拟场景进行融合，在这种情况下，系统需要对相机姿态进行估计，传统的相机姿态估计是通过机械设备和传感器来实现的，相机姿态估计是生成3D场景下的混合现实画面提供先决条件，相机姿态估计越准确，合成的混合现实代入感也越强；

传统色键抠像的缺点是相机姿态估计和抠像要分开完成，相机姿态估计依赖机械设备，成本高昂，对抠像的拍摄环境要求较高；绿色背板要覆盖相机的整个视野，否则合成前的自然图景出现在合成后的虚拟场景周围。

发明内容

为解决上述技术问题，本发明采用了自迭代式的局部绿幕区域抠像方法，可以依靠算法同时完成相机的姿态估计和抠像两项工作，在自然环境下完成绿幕抠像且不影响后续的虚拟场景合成，在抠像结束后可以得到精准的抠像结果以及逼真的虚拟场景合成，该算法不受拍摄环境的限制，不依赖机械设备，成本低廉，适合低成本直播间，具有自动、实用、快速的优点，提供一种自迭代式的局部绿幕抠像方法，以解决上述背景技术中描述问题。

本发明一种自迭代式的局部绿幕抠像方法，包括预处理阶段和正式运行阶段；预处理阶段用迭代的方式得到尽量准确的绿幕区域，以得到更好的相机姿态和精准的色键；正式运行阶段是进行逼真的虚拟场景合成以及抠像；

(1)在整个过程中，相机和绿幕的位置都是固定的；

(2)在预处理阶段，绿幕前没有人、物等前景，而在正式运行阶段，绿幕前会加入人、物等前景进行抠像。

具体步骤如下：

第一步，根据参考帧F_R上的关键点集对F_t进行点匹配，找出当前帧F_t对应的关键点集。

第二步，根据这两个点集的几何位置得出单应矩阵H_t，计算得到估计的绿幕区域B和姿态估计。

第三、四步，先对区域B进行色键抽取，再根据公式计算α值，得到绿幕区域掩膜Α_t。

第五步，对Α_t求取边缘处理和霍夫变换，确定该区域的边界，得到新的绿幕四边形区域B”和新的单应矩阵同时计算出更准确的相机姿态。

第六步，重复上述步骤，不断更新单应矩阵，动态调整热点区域，直到点匹配的搜索范围ε小于给定的预设值，或者迭代步数达到预设上限，即可得到精准的相机姿态和色键。

第七步，基于预处理阶段得到的相机姿态放置虚拟场景。

第八步，根据预处理阶段得到的精准色键对每一帧来进行像素级抠像。