[发明专利]一种基于Hu矩的手语视频帧序列分类方法

摘要

本发明公开一种基于Hu矩的手语视频帧序列分类方法，包括以下步骤：步骤1：获取待识别的手语视频；步骤2：对该手语视频进行帧采样，获得帧序列；步骤3：将彩色图像的帧序列转换为二值图像的帧序列；步骤4：将手部与背景分割；步骤5：提取分割后的手部图像的Hu矩得到手部图像的特征向量；步骤6：计算每一帧与前一帧的特征向量之间的欧式距离，判决，贴数字标签，进行初步分类。步骤7：根据标签进行帧序列进一步分类，去除过渡动作帧，顺序输出分类后的标签序列。本发明计算复杂度较低，且对于手语图像的旋转、缩放和平移具有很好的鲁棒性，可直接应用于手语视频识别系统。

主权项

1.一种基于Hu矩的手语视频帧序列分类方法，其特征在于，包括以下步骤：步骤S101，利用数字摄影设备获取待识别的手语视频；采用一副蓝色手套辅助特征部位的标定与检测,这并不会限制交互的自然性；步骤S102是采样率SAMPLE_RATE对该手语视频进行帧采样；SAMPLE_RATE设置为每隔30帧取1帧，即1S采集1帧；步骤S103作为预处理部分，将采集到的彩色图像序列转换为黑白二值图像序列；所述步骤S103进一步包括以下步骤：步骤S201：取得新的帧采样图像；步骤S202：遍历该图像所有的像素点，判断其是否可能为手部区域的像素点；若是，将其设为白色；若否，将其设为黑色；步骤S203：输出二值图像；具体地，二值化的基本原理是通过手套的颜色将手的部分设为白色，其余背景为黑色，具体判定准则如下：1.像素点pixel的RGB值满足：B＝Max(R,G,B)2.像素点pixel的B值满足：B>B_thre，3.像素点pixel的RGB方差Var满足：Var>Var_thre，其中，准则1是因为手套为蓝色，所以B值是RGB值的最大值；准则2是因为满足准则1的像素点不一定是蓝色，其B值需要超过一定的阈值才可以判定为蓝色；准则3是因为区域为明显的蓝色，所以其RGB值的方差会超过一定的阈值；只有同时满足上述3个准则的像素点pixel才判定为手部区域的像素点，将其RGB值全部赋值为255，否则，将其RGB值全部赋值为0即黑色；当拍摄背景中有蓝色物体时，也会被二值化为白色区域，因此，在二值图像中并非所有的白色区域都为手部区域，步骤S104将手部区域与其他白色区域区分开，将手部与背景分割；所述步骤S104进一步包括以下步骤：步骤S301：取得新的帧二值图像；步骤S302：遍历该图像所有的轮廓，判断其是否为手部区域的轮廓；若是，继续步骤S303；若否，重复步骤S302直到遍历结束退出；步骤S303：将该手部区域与背景分割；步骤S304：输出该手部区域图像；具体地，分割的基本原理是利用包围区域轮廓的最小矩形的大小来识别出手部区域，具体判定准则如下：1.包围轮廓Contour的最小矩形的长度满足：len_min其中，f(x,y)为图像函数，代表图像重心，其定义为：其中，运用不变矩M1与M2，将每一分割后的二值手部图像映射为如下的特征向量，实现计算复杂度的降低：将图像从像素空间映射到特征向量空间后，各个图像之间的差异就可以用它们的特征向量之间的差异来衡量了；而特征向量之间的差异又可以通过两向量在特征空间中的距离来表征；在步骤S106中，用欧几里得度量来表示两向量在特征空间中的距离，其定义如下所示：假设有两个图像Hu矩特征向量则它们的欧几里得度量为：获得两个图像的特征向量之间的欧几里得度量后，需要设定一个自适应的阈值，来判断它们是否属于同一类；若为同一类，贴上相同的标签；若不是同一类，贴上不同的标签；实际上，完全可以假设在第1秒内做的手语都是同一类的手语，因此阈值取前两帧图像特征向量的欧几里得度量；具体判定准则如下：其中，为第i帧图像的特征向量，L_i为第i帧图像的标签,用数字代表标签；经过步骤S106已经得到一个初步的分类结果；然而，传统帧序列分类问题的一个难点在于：如何从采集到的帧序列中去除那些过渡动作的帧；步骤S107中将根据图像的标签为帧序列进行精分类；所述步骤S107进一步包括以下步骤：步骤S401：取得新的帧采样图像的标签；步骤S402：通过该标签判断该帧是否为过渡手势动作；若是，将其去除；若否，将其与同一标签的帧归为一类；步骤S403：按照帧序列顺序输出分类结果；所述步骤S402的具体判定准则如下所示：假设目标视频序列总共有N帧图像，若对第i帧图像的数字标签Li满足：Li＝Li‑1+1&&Li＝Li+1‑1，1

下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。 免登录下载普通用户下载升级VIP会员，免费下载

该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华南理工大学，未经华南理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】

本文链接：http://www.vipzhuanli.com/patent/201510254121.3/，转载请声明来源钻瓜专利网。