[发明专利]基于视频数据特性的动态手势识别方法、存储介质和设备

说明书

本发明公开了一种基于视频数据特性的动态手势识别方法、存储介质和设备，从动态手势编码视频码流中获取运动矢量；对获取的运动矢量进行阈值过滤，去除与手部运动无关的运动矢量特征；然后进行方向量化；再使用k‑means聚类算法将运动矢量按量化方向角聚为不同的簇；取方向角聚类簇样本数量最多的2个簇作为主方向角聚类簇；采用主成分分析法对聚类后的主方向角聚类簇均值进行数据维度处理，得到一帧运动矢量的运动趋势；融合运动趋势和手型类别概率得到动态手势的类别概率，将概率最大的类别作为预测得到的目标类别。本发明避免了对视频码流解码重建带来的数据量和计算量的增加，能够在资源受限环境中有效实现，提高了安全性和实时性。

技术领域

本发明属于信息技术领域，具体涉及一种基于视频数据特性的动态手势识别方法、存储介质和设备。

背景技术

动态手势作为一种重要的人机交互方式，近年来受到越来越多的关注。将手部执行的特定动作，利用相应设备捕获与分析，转化为一系列控制指令使智能设备做出响应，使得人机交互方式更加自然和友好。近年来，动态手势识别在体感游戏、手语识别、辅助驾驶、医疗器械以及智能家电控制等领域应用的越来越广泛。

目前在计算机视觉领域，对于动态手势分析都是采用“源端视频压缩→传输→后端解码重建视频→视频图像分帧→特征提取与分析识别”的处理框架进行的。这样的处理框架将视频图像的分析处理与多媒体数据处理领域割裂开来，没有充分利用多媒体数据处理领域已经挖掘出的视频数据时间及空间特征信息。在现有视频设备中采用的视频编码技术(如AVS(Audio Video Coding Standard)、HEVC(High Efficiency Video Coding)等)中，本身就已经通过运动矢量将采集的原始相邻图像帧之间的对象运动趋势精确地描述出来。如果能够充分利用这些信息，不但可以大大降低视频图像分析识别的数据量，还可以大大简化特征提取复杂度。

现有基于动态手势识别应用，为了发挥智能算法的优势，同时又受制于终端的计算和存储资源限制，不得不采用云后端的系统架构，如图1所示。在本地获取手势视频数据，编码压缩后通过网络传输到云端，在云端解码视频流得到一系列的静态手势图像帧数据，对图像帧序列进行相关预处理后利用智能算法提取特征并分析识别，最后将结果通过网络传回本地。这样的框架从本质上无法跨越以下限制：

(1)特征提取与分析识别需要在解码重建后的视频上完成，算法处理的原始数据本身是经过有损的视频编码处理过的，因此存在很大的视觉特征损失，识别的精度会受到很大的影响；

(2)特征提取与分析识别的输入是基于将重建的视频数据分帧后的离散图像序列，导致分析的数据量增长巨大，对存贮和计算资源都带来很大的挑战，故而无法将应用部署在资源受限的边缘设备上；

(3)将特征提取与分析识别部署在云端又导致数据安全和传输代价问题。

这样的处理框架忽略了编码视频中固有的数据特征。在视频编码中，I帧(关键帧)采用的帧内压缩方式会保留完整的静态图像信息，因此可以独立的解码与显示，并提取到动态手势的空间特征。为了降低码率，I帧之间的预测帧中仅保留了与运动趋势相关的时间特征信息，基于这些信息解码恢复出的图像序列与原始图像序列存在很大的量化误差。这些量化误差会对智能算法造成误导，影响分析识别的精度。但是换一个角度来看，预测帧编码数据中的运动矢量是通过相邻帧间的块匹配计算得到的，这些运动矢量本身就呈现了视频图像序列中运动对象在时间和空间的变化特征。也就是说，对于动态手势视频图像，运动矢量中蕴含了手势变化的趋势信息，因此可以直接从编码视频数据中提取出来作为手势的时间特征。如果能够充分利用运动矢量的特征信息，一方面可以避免解码带来的量化误差，另一方面还可以大大降低计算复杂度和分析处理的数据量。毕竟和图像序列相比，运动矢量的数据量将会成数量级地降低，而且对机器学习算法来说运动矢量数据更加规则。

发明内容