[发明专利]一种结合运动信息的目标主动轮廓跟踪方法

权利要求书

1.一种结合运动信息的目标主动轮廓跟踪方法，其特征在于，包括以下步骤：

(1)、初始化SVM(支持向量机)分类器

针对序列图像第一帧图像，首先手动标定初始轮廓，初始轮廓的最大外接矩形向外扩大p个像素点后的区域作为感兴趣区域(Region of Interest，简称ROI)；然后，对感兴趣区域进行超像素分割，得到一系列的超像素；

对于每一个超像素，提取感兴趣的颜色特征和纹理特征向量，并将两者进行合并，得到该超像素的d维表观特征向量；

记感兴趣区域的初始轮廓内像素点为正，初始轮廓外像素点为负，统计每个超像素内的所有像素点，若超过半数像素点为正，记为1，则将该超像素标记为正样本，否则标记为负样本，记为-1；

将每个超像素的d维表观特征向量作为输入，其标记作为输出对SVM分类器进行训练，得到初始化的SVM分类器；同时，将每个超像素的d维表观特征向量作为输入，其标记作为输出作为一组训练样本存入样本池中；

将初始轮廓作为第一帧图像目标主动轮廓跟踪结果、序列图像第二帧图像作为当前帧图像；

(2)、基于SVM分类器和局部信息的判别式表观模型构建

将当前帧图像的上一帧图像的目标主动轮廓跟踪结果作为初始轮廓，初始轮廓的最大外接矩形向外扩大p个像素点后的区域作为感兴趣区域(Region of Interest，简称ROI)；然后，对感兴趣区域进行超像素分割，得到一系列的超像素；

对于每个超像素，提取感兴趣的颜色特征和纹理特征向量，并将两者进行合并，得到每个超像素的d维表观特征向量；

2.1)、基于SVM分类器的置信图计算

将第i个超像素sp′_i的d维表观特征向量输入到SVM分类器中，得到该超像素的样本标记值，即基于SVM分类器的置信图值ConfMap_{svm_i}；

2.2)、基于局部信息的置信图计算

首先，计算每个超像素属于目标和属于背景的概率，具体计算步骤如下：

2.2.1)、对上一帧图像的轮廓跟踪结果即目标轮廓进行标记，如果上一帧图像感兴趣区域第j个超像素sp_j内超过半数的像素点在目标轮廓内，则记为L_j为1，否则为-1；

2.2.2)、记当前帧图像感兴趣区域第i个超像素为sp′_i，其中心坐标为(x′_i,y′_i)；上一帧图像感兴趣区域第j个超像素sp_j的中心坐标为(x_j,y_j)，设置阈值为T_R；

2.2.3)、记当前帧图像感兴趣区域第i个超像素sp′_i属于目标轮廓内的似然概率为p(sp′_i|obj)，属于背景的似然概率为p(sp′_i|bck)，令：p(sp′_i|obj)＝p(sp′_i|bck)＝0；

2.2.4)、对于当前帧图像感兴趣区域第i个超像素sp′_i，遍历上一帧图像感兴趣区域的超像素sp_j，并进行以下运算：

2.2.4.1)、令m＝n＝0，j＝1

2.2.4.2)、如果则：

当L_j为1时：

num1＝p(sp′_i|obj)+p_ij

m＝m+1

当L_j为-1：

num2＝p(sp′_i|bck)+p_ij

n＝n+1

如果不成立，则转到步骤2.2.4.4；

2.2.4.3)、计算属于目标轮廓内的似然概率p(sp′_i|obj)、属于背景的似然概率p(sp′_i|bck)：

其中，p_ij定义为超像素sp′_i与sp_j的相似度，记sp′_i和sp_j的表观特征向量分别为f′_i，f_j，则p_ij的计算公式为：

p_ij＝exp(-||f_i′-f_j||²)，

其中，||f_i′-f_j||²表示特征向量f_i′，f_j的欧式距离；

2.2.4.4)、如果没有遍历完上一帧图像感兴趣区域的超像素sp_j，则j＝j+1，返回步骤2.2.4.2)，否则，结束，得到第i个超像素sp′_i属于目标轮廓内的似然概率p(sp′_i|obj)，属于背景的似然概率p(sp′_i|bck)；

定义第i个超像素sp′_i基于局部信息的置信图值为：

置信图值的取值范围为[-1,1]，并且具有以下的对称判别属性：

2.3)、融合得到表观特征的置信图

对于第i个超像素sp′_i，基于局部信息的置信图值ConfMap_{local_i}的权值为w_{1_i}，基于SVM分类器的置信图值ConfMap_{svm_i}的权值为w_{2_i}，令：

w_{1_i}＝ε*|ConfMap_{local_i}|

w_{2_i}＝1-ε*|ConfMap_{local_i}|

其中，ε为常量，根据具体跟踪场景设置，取0.5，融合后的置信图值ConfMap_i为：

ConfMap_i＝w_{1_i}*ConfMap_{local_i}+w_{2_i}*ConfMap_{svm_i}；

将当前帧图像的所有超像素按照步骤2.1)～2.3)进行处理，得到融合后的置信图，然后将每个超像素中的像素点赋值为该超像素的融合后的置信图值，得到表观特征的置信图；

(3)、基于运动信息的光流灰度图计算

采用稠密光流计算法来计算当前帧图像上每一个像素点的光流，得到光流场是一个双通道图像，分别为x方向和y方向上的位移；通过孟塞尔颜色系统(Munsell Color System)实现可视化，得到光流彩色图，其中，不同的颜色代表不同运动方向，颜色深浅代表运动速度的快慢；再通过以下公式将光流彩色图转换成光流灰度图：

I＝0.2989*R+0.5870*G+0.1140*B

其中R，G和B分别代表彩色空间三个通道的像素点像素值；

(4)、基于决策树的融合权重计算

将表观特征的置信图像素点的取值为-1到1等分的10个区间，分别用0～9表示，光流灰度图像素点的取值为0到255等分的8个区间，分别用0～7表示；

使用决策树对像素点进行预测分类，如果一个像素点位置在表观特征的置信图中的像素点像素值在：

区间0、1，则该像素点置为背景；

区间2，同时，该像素点位置在光流灰度图中像素点像素值在区间0，则该像素点置为目标，否则，则该像素点置为背景；

区间3、4，同时，该像素点位置在光流灰度图中像素点像素值在区间0、1，则该像素点置为目标，否则，则该像素点置为背景；

区间5、6，同时，该像素点位置在光流灰度图中像素点像素值在区间0-3，则该像素点置为目标，否则，则该像素点置为背景；

区间7、8，同时，该像素点位置在光流灰度图中像素点像素值在区间0-5，则该像素点置为目标，否则，则该像素点置为背景；

区间9，则该像素点置为目标；

将属于目标的像素点标记为1，属于背景的像素点标记为-1，可以得到最终的置信图即融合置信图；

(5)、水平集轮廓演化

采用基于边缘的DRLSE(Distance Regularized Level Set Evolution)模型进行水平集轮廓演化，演化采用融合置信图代替气球力α与边缘梯度函数g的乘积进行引导并迭代k次；

然后，再由边缘梯度函数和曲率共同引导，得到目标轮廓；

(6)、更新样本池，并重新初始化SVM(支持向量机)分类器

依据目标轮廓，对感兴趣区域的超像素进行标记：如果超过半数像素点为正即落入目标轮廓内，记为1，则将该超像素标记为正样本，否则标记为负样本，记为-1，然后作为一组训练样本存入样本池中；

样本池容纳的最大训练样本个数为S_z，采用排队的方式进行更新，新来的训练样本排在队列的末端，直到训练样本个数超过S_z，则删除排在队列前端的训练样本，训练样本总个数S_z保持不变；

用样本池中的训练样本对SVM分类器进行训练，得到更新的初始化的SVM分类器；

将下一帧作为当前帧，返回步骤(2)。

2.根据权利要求1所述的目标主动轮廓跟踪方法，其特征在于，步骤(1)中所述的提取感兴趣的颜色特征和纹理特征向量为：将RGB图像的超像素转换到HSV颜色空间，对颜色进行量化，将h划分为8等份，s划分为4等份，v划分为4等分，然后统计每个超像素内所有像素点落入每个区间的数目，得到128维归一化颜色特征向量；将RGB图像的超像素转为灰度图，计算其LBP(Local Binary Pattern,局部二值模式)值，将LBP值等分为8个区间，同样基于超像素直方图统计得到8维的归一化LBP特征向量即纹理特征向量。