[发明专利]一种结合运动信息的目标主动轮廓跟踪方法

摘要

本发明公开了一种基结合运动信息的目标主动轮廓跟踪方法，以超像素为基本单元，分别对目标与背景区域的表观特征和运动特征进行建模，并采用决策树算法将两者融合起来，克服了传统的主动目标轮廓跟踪方法对于表观特征的依赖性，在目标与背景颜色，纹理等特征相似，但具有明显相对运动的场景中跟踪精度有明显提升，具有很好的应用前景。

主权项

一种结合运动信息的目标主动轮廓跟踪方法，其特征在于，包括以下步骤：(1)、初始化SVM(支持向量机)分类器针对序列图像第一帧图像，首先手动标定初始轮廓，初始轮廓的最大外接矩形向外扩大p个像素点后的区域作为感兴趣区域(Region of Interest，简称ROI)；然后，对感兴趣区域进行超像素分割，得到一系列的超像素；对于每一个超像素，提取感兴趣的颜色特征和纹理特征向量，并将两者进行合并，得到该超像素的d维表观特征向量；记感兴趣区域的初始轮廓内像素点为正，初始轮廓外像素点为负，统计每个超像素内的所有像素点，若超过半数像素点为正，记为1，则将该超像素标记为正样本，否则标记为负样本，记为‑1；将每个超像素的n维表观特征向量作为输入，其标记作为输出对SVM分类器进行训练，得到初始化的SVM分类器；同时，将每个超像素的n维表观特征向量作为输入，其标记作为输出作为一组训练样本存入样本池中；将初始轮廓作为第一帧图像目标主动轮廓跟踪结果、序列图像第二帧图像作为当前帧图像；(2)、基于SVM分类器和局部信息的判别式表观模型构建将当前帧图像的上一帧图像的目标主动轮廓跟踪结果作为初始轮廓，初始轮廓的最大外接矩形向外扩大p个像素点后的区域作为感兴趣区域(Region of Interest，简称ROI)；然后，对感兴趣区域进行超像素分割，得到一系列的超像素；对于每个超像素，提取感兴趣的颜色特征和纹理特征向量，并将两者进行合并，得到每个超像素的d维表观特征向量；2.1)、基于SVM分类器的置信图计算将第i个超像素sp′i的n维表观特征向量输入到SVM分类器中，得到该超像素的样本标记值，即基于SVM分类器的置信图值ConfMapsvm_i；2.2)、基于局部信息的置信图计算首先，计算每个超像素属于目标和属于背景的概率，具体计算步骤如下：2.2.1)、对上一帧图像的轮廓跟踪结果即目标轮廓进行标记，如果上一帧图像感兴趣区域第j个超像素spj内超过半数的像素点在目标轮廓内，则记为Lj为1，否则为‑1；2.2.2)、记当前帧图像感兴趣区域第i个超像素为sp′i，其中心坐标为(x′i,y′i)；上一帧图像感兴趣区域第j个超像素spj的中心坐标为(xj,yj)，设置阈值为TR；2.2.3)、记当前帧图像感兴趣区域第i个超像素sp′i属于目标轮廓内的似然概率为p(sp′i|obj)，属于背景的似然概率为p(sp′i|bck)，令：p(sp′i|obj)＝p(sp′i|bck)＝0；2.2.4)、对于当前帧图像感兴趣区域第i个超像素sp′i，遍历上一帧图像感兴趣区域的超像素spj，并进行以下运算：2.2.4.1)、令m＝n＝0，j＝12.2.4.2)、如果则：当Lj为1时：num1＝p(sp′i|obj)+pijm＝m+1当Lj为‑1：num2＝p(sp′i|bck)+pijn＝n+1如果不成立，则转到步骤2.2.4.3)、计算属于目标轮廓内的似然概率p(sp′i|obj)、属于背景的似然概率p(sp′i|bck)：其中，pij定义为超像素sp′i与spj的相似度，记sp′i和spj的表观特征向量分别为f′i，fj，则pij的计算公式为：pij＝exp(‑||f′i‑fj||2)，其中，||f′i‑fj||2表示特征向量f′i，fj的欧式距离；2.2.4.4)、如果没有遍历完上一帧图像感兴趣区域的超像素spj，则j＝j+1，返回步骤2.2.4.2)，否则，结束，得到第i个超像素sp′i属于目标轮廓内的似然概率p(sp′i|obj)，属于背景的似然概率p(sp′i|bck)；定义第i个超像素sp′i基于局部信息的置信图值为：ConfMaplocal_i=p(spi′|obj)-p(spi′|bck)p(spi′|obj)+p(spi′|bck);]]>置信图值的取值范围为[‑1,1]，并且具有以下的对称判别属性：ConfMaplocal_i=-1p(spi′|obj)=0-1<ConfMaplocal_i<0p(spi′|bck)>p(spi′|obj)>0ConfMaplocal_i=0p(spi′|bck)=p(spi′|obj)0<ConfMaplocal_i<1p(spi′|obj)>p(spi′|bck)>0ConfMaplocal_i=1p(spi′|bck)=0]]>2.3)、融合得到表观特征的置信图对于第i个超像素sp′i，基于局部信息的置信图值ConfMaplocal_i的权值为w1_i，基于SVM分类器的置信图值ConfMapsvm_i的权值为w2_i，令：w1_i＝ε*|ConfMaplocal_i|w2_i＝1‑ε*|ConfMaplocal_i|其中，ε为常量，根据具体跟踪场景设置，可以取0.5，融合后的置信图值ConfMapi为：ConfMapi＝w1_i*ConfMaplocal_i+w2_i*ConfMapsvm_i；将当前帧图像的所有超像素按照步骤2.1)～2.)进行处理，得到融合后的置信图，然后将每个超像素中的像素点赋值为该超像素的融合后的置信图值，得到表观特征的置信图；(3)、基于运动信息的光流灰度图计算采用稠密光流计算法来计算当前帧图像上每一个像素点的光流，得到光流场是一个双通道图像，分别为x方向和y方向上的位移；通过孟塞尔颜色系统(Munsell Color System)实现可视化，得到光流彩色图，其中，不同的颜色代表不同运动方向，颜色深浅代表运动速度的快慢；再通过以下公式将光流彩色图转换成光流灰度图：I＝0.2989*R+0.5870*G+0.1140*B其中R，G和B分别代表彩色空间三个通道的像素点像素值；(4)、基于决策树的融合权重计算将表观特征的置信图像素点的取值为‑1到1等分的10个区间，分别用0～9表示，光流灰度图像素点的取值为0到255等分的8个区间，分别用0～7表示；使用决策树对像素点进行预测分类，如果一个像素点位置在表观特征的置信图中的像素点像素值在：区间0、1，则该像素点置为背景；区间2，同时，该像素点位置在光流灰度图中像素点像素值在区间0，则该像素点置为目标，否则，则该像素点置为背景；区间3、4，同时，该像素点位置在光流灰度图中像素点像素值在区间0、1，则该像素点置为目标，否则，则该像素点置为背景；区间5、6，同时，该像素点位置在光流灰度图中像素点像素值在区间0‑3，则该像素点置为目标，否则，则该像素点置为背景；区间7、8，同时，该像素点位置在光流灰度图中像素点像素值在区间0‑5，则该像素点置为目标，否则，则该像素点置为背景；区间9，则该像素点置为目标；将属于目标的像素点标记为1，属于背景的像素点标记为‑1，可以得到最终的置信图即融合置信图；(5)、水平集轮廓演化采用基于边缘的DRLSE(Distance Regularized Level Set Evolution)模型进行水平集轮廓演化，演化采用融合置信图代替气球力α与边缘梯度函数g的乘积进行引导并迭代k次；然后，再由边缘梯度函数和曲率共同引导，得到目标轮廓。(6)、更新样本池，并重新初始化SVM(支持向量机)分类器依据目标轮廓，对感兴趣区域的超像素进行标记：如果超过半数像素点为正即落入目标轮廓内，记为1，则将该超像素标记为正样本，否则标记为负样本，记为‑1，然后作为一组训练样本存入样本池中；样本池容纳的最大训练样本个数为Sz，采用排队的方式进行更新，新来的训练样本排在队列的末端，直到训练样本个数超过Sz，则删除排在队列前端的训练样本，训练样本总个数Sz保持不变；用样本池中的训练样本对SVM分类器进行训练，得到更新的初始化的SVM分类器；将下一帧作为当前帧，返回步骤(2)。