[发明专利]一种基于深度前景跟踪的彩色视频抠图方法

权利要求书

1.一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，该方法包括如下步骤：

步骤一：判断当前帧是否为抠图第一帧：如果是，提示用户对深度图像上的前景目标做出标记，生成前景搜索框；如果否，重新寻找抠图第一帧；

步骤二：在深度图像中，根据步骤一所述的前景搜索框的位置进行前景检索，区分前景和背景；

步骤三：将步骤二所述的，区分出前景和背景的深度图像重建到步骤一中所述第一帧对应的彩色图像的尺度空间中并配准，并根据步骤二的区分结果，生成与彩色图像尺度相同的三分图；

步骤四：根据彩色图像，对三分图进行精细调整，使三分图中值为1的像素对应彩色图像的前景，值为0的像素对应彩色图像的背景，而0～1之间的像素对应前景与背景之间的边缘区域；

步骤五：利用三分图和彩色图像，将步骤四中所述的边缘区域划分为若干超像素，根据超像素梯度特征快速估计出每个超像素的不透明度，抠出当前帧的前景目标；首先对未知区域进行超像素分割，生成一系列的超像素{Sp₁,Sp₂,...Sp_i,...,Sp_n}；假设Sp_i的中心为Cp_i，计算其梯度Gra(Cp_i)，并判断：

若Gra(Cp_i)T_gra，则认为Cp_i是边缘上的点，沿着Gra(Cp_i)的方向作直线，分别得到直线与前景区域和背景区域的第一个交点Fg_i1和Bg_i1，作为Sp_i中所有像素的前、背景点对(Fgb_i、Bgb_i)；

若Gra(Cp_i)T_gra，则认为Cp_i不是边缘上的点，同样沿着Gra(Cp_i)的方向作直线，分别得到直线与前景区域和背景区域的第一个交点Fg_i2和Bg_i2；接着以Fg_i2为圆心，R_fg,i2为半径作圆，R_fg,i2为Cp_i到Fg_i2之间的距离，取该圆中的前景位置加权平均值为Fgb_i；Bgb_i也可同理得出；这样，超像素的不透明度为：

步骤六：计算步骤五中所述当前帧前景目标的中心位置，建立并更新运动方程，对抠图结果进行传播，更新下一帧搜索框位置。

2.根据权利要求1所述的一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，所述步骤二中，区分前景和背景的策略为，采用分水岭算法或者阈值分割。

3.根据权利要求1所述的一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，所述步骤三中，将步骤二所述的，区分出前景和背景的深度图像重建到步骤一中所述第一帧对应的彩色图像的尺度空间中并配准，是基于像素位置区分的插值方法，通过固定采集深度图像的深度传感器和采集彩色图像的彩色传感器的相对位置，并对两个传感器分别进行标定得到的。

4.根据权利要求3所述的一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，所述步骤三中的重建方法为，首先对深度图像用sobel算子作一次边缘检测，对于非边缘区域，采用双线性插值；对于边缘区域，采用双三次插值。

5.根据权利要求1所述的一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，所述步骤四中三分图精细调整的方法，具体步骤为：

假设前景区域深度均值为μ_m，对三分图中的每个未知区域像素其中k为未知区域像素的编号，计算其彩色图像对应位置的3*3邻域中八个方向的三通道颜色梯度若对所有j，并且则归为前景像素；若并且则归为背景像素；否则仍为未知像素，式中T_g和T_D分别为颜色梯度阈值和深度阈值，D'_HR为配准并变换到彩色图像I_c坐标空间的深度图像。

6.根据权利要求1所述的一种基于深度前景跟踪的彩色视频抠图方法，其特征在于，所述步骤六中建立并更新运动方程，具体步骤为：

抠出目标后，计算前景中心C_fg,n，n为当前帧序列号，并根据前面多帧C_fg序列，建立kalman方程，预测下一帧的C_fg,n+1位置，将搜索框的中心移动至C_fg,n+1，即完成一帧抠图。