[发明专利]一种手势跟踪过程中的前景提取法

摘要

本发明公开了一种手势跟踪过程中的前景提取方法，通过对背景建立与更新，用当前帧图像减去背景图像，得到初步前景图像，并进行二值化处理、去除前景中非肤色像素点、去除前景中像素值与跟踪手掌均值相差过大的点，最后使用腐蚀膨胀算法去除杂点。本发明充分利用了跟踪对象即手掌的特征，在保证算法运算量小，数据量小的前提下，不仅能够在物体静止和运动过程中准确提取出前景，而且还去除了手势控制过程中类肤色物体对手掌跟踪的干扰，为后面的跟踪匹配过程提供了干净且有效的输入即前景图像。

主权项

一种手势跟踪过程中的前景提取方法，其特征在于，包括以下步骤：（1）、背景的建立根据运动检测算法检测到手掌，则对检测到手掌的当前帧图像A1初始化背景图像B：当前帧图像A1中无手掌的地方，将像素值拷贝入背景图像B的对应位置中，当前帧图像A1中有手掌的地方，则将背景图像B中对应位置初始化为零；（2）、引入搜索区域对前景进行二值化如果当前帧跟踪到手掌，则以前一帧跟踪到手掌中心作为搜索框中心，采用了3倍手掌宽度、2倍手掌高度作为手掌可能运动的区域；2.1）、使用如下方法得到一个初步前景图C：将初步前景图C中搜索区域外的像素点赋值为C[i]=0，将初步前景图C中搜索区域内的像素点赋值为：C[i]=abs（A2[i]–B[i]），其中，abs()表示取绝对值的函数，A2[i]表示跟踪到的当前帧图像A2中第i个像素点像素值，B[i]表示背景图像B中第i个像素点像素值，C[i]表示初步前景图C中的i个像素点像素值；2.2）、将得到的初步前景图C进行一次二值化，结果置于二值化前景图D中：对初步前景图C中搜索区域内的像素点进行遍历，如果RGB通道都大于设定阈值th1，则赋值为255，反之则赋值为0，表达式如下：如果Cr[i]>th1且Cg[i]>th1且Cb[i]>th1，则D[i]=255，反之，则D[i]=0；其中，Cr[i]表示初步前景图C中的R通道第i个像素点像素值，Cg[i]表示初步前景图C中的G通道第i个像素点像素值，Cb[i]表示初步前景图C中的B通道第i个像素点像素值，D[i]表示二值化前景图D中第i个像素点像素值；如果当前帧跟踪没有跟踪到手掌，则返回步骤（1）；（3）、目标特征更新对前一帧跟踪对象即手掌的RGB三个通道上的平均值avgR、avgG、avgB分别进行了记录；（4）、前景图D的二次筛选在得到步骤（2）输出的二值化前景图D后，还需要从两个方面来对前景点 进行筛选，看这些跟踪点是否符合跟踪特征；以当前帧图像A2为依据，对二值化前景图D中所有的有效点进行肤色检测，如果在当前帧图像A2中为非肤色点，则从二值化前景图像D中去除，即：如果D[i]等于255，且A2[i]为非肤色点，则D[i]修改为0，D[i]表示二值化前景图D中第i个像素点；以当前帧图像A2为依据，对二值化前景图D中所有的有效点进行检测，如果在当前帧图像A2中，该点如果有一个通道与前一帧跟踪对象即手掌上的均值差异大于设定的阈值th2，则不认为是前景，即：如果abs(A2R[i]‑avgR)>th2或者abs(A2G[i]‑avgG)>th2或者abs(A2B[i]‑avgB)>th2，则D[i]=0；其中，A2R[i]表示当前帧图像A2中的R通道第i个像素点，A2G[i]表示当前帧图像A2中的G通道第i个像素点,A2B[i]表示当前帧图像A2中的B通道第i个像素点；（5）、杂点去除采用3x3的算子对二次筛选后二值化前景图D先一次腐蚀操作即二值化前景图D中一个像素点为0，则其邻域的8个像素点都设定为0，然后再采用3x3的膨胀算子做一次膨胀操作即只要二值化前景图D中一个像素点为255，其邻域的8个像素点都设定为255，将手掌周围轮廓信息恢复，得到较为干净且准确的前景图D；（6）、背景更新根据当前帧图像A2，对背景图像B做如下更新：当前帧图像A2中无手掌的地方，将像素值拷贝入背景图像B的对应位置中，当前帧图像A2中有手掌的地方，则保持背景图像B中对应位置像素值不变；更新后的背景图像B用于下一帧前景图的提取，返回步骤（2）。