[发明专利]基于视频数据特性的动态手势识别方法、存储介质和设备

权利要求书

1.一种基于视频数据特性的动态手势识别方法，其特征在于，包括以下步骤：

S1、从动态手势编码视频码流中获取运动矢量；

S2、对步骤S1获取的运动矢量进行阈值过滤，去除与手部运动无关的运动矢量特征，阈值结果T具体为：

其中，V为运动矢量的速度，n为一帧中有运动矢量的块数量；

S3、将步骤S2过滤后的运动矢量进行方向量化；

S4、步骤S3得到量化方向角之后，使用k-means聚类算法将运动矢量按量化方向角聚为不同的簇；

S5、取方向角聚类簇样本数量最多的2个簇作为主方向角聚类簇；

S6、采用主成分分析法对步骤S5聚类后的主方向角聚类簇均值进行数据维度处理，得到一帧运动矢量的运动趋势e_t，通过一个拥有m帧运动矢量的动态手势视频构成一个主方向角聚类簇矩阵A，取最大的特征值λ_max对应的特征向量作为变换矩阵P，将主方向角聚类簇矩阵A与变换矩阵P点乘得到降维后的特征矩阵B，通过线性变换将主方向角聚类簇矩阵A变换为一组各维度线性无关的表示，得到一帧运动矢量的运动趋势e_t；

S7、通过运动趋势分类获取动态手势的时间特征，通过从动态手势编码视频码流中提取的首帧图像对手型进行分类以获取动态手势的空间特征，融合运动趋势和手型类别概率得到动态手势的类别概率，将概率最大的类别作为预测得到的目标类别。

2.根据权利要求1所述的方法，其特征在于，步骤S3中，将方向信息转换为0°、45°、90°、135°、180°、225°、270°、315°的8个量化角度，运动矢量量化后的角度aq为：

aq＝q←arctan(x÷y)

其中，x，y为运动矢量(x,y)的水平和垂直方向信息，q为运动矢量方向角最为趋近的一个量化方向角。

3.根据权利要求1所述的方法，其特征在于，步骤S4中，量化方向角的数量为区间[1,8]中的整数。

4.根据权利要求1所述的方法，其特征在于，步骤S7中，从运动矢量(x,y)中提取出运动趋势特征，采用随机森林分类器对动态手势的运动趋势e_t进行分类，得到e_t在类别C_t的运动趋势类别概率P_t(C_te_t)。

5.根据权利要求4所述的方法，其特征在于，步骤S7中，采用ResNet-18作为手型分类的卷积神经网络模型，通过卷积神经网络对首帧图像e_s分类得到动态手势的手型类别概率P_s(C_se_s)。

6.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至5所述的动态手势识别方法中的任一方法。

7.一种识别设备，其特征在于，包括：

一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至5所述的动态手势识别方法中的任一方法的指令。