[发明专利]一种基于深度学习的图像手势动作在线检测与识别方法

摘要

本发明公开了一种基于深度学习的图像手势动作在线检测与识别方法。提取所有帧图像，每帧图像已被标注，并输入手势检测网络训练；一段手势动作视频流输入手势检测网络，获得每帧图像中标注为动态手势的局部手势区域，获得带有标注为动态手势的局部手势区域图像帧；用分段随机采样算法采样处理，提取获得光流信息，进行空间上特征图提取，将特征图输入到各自的手势识别网络训练；将待检测手势视频流输入手势检测网络，分别获得预测分类结果，取平均值再取概率最大的为最终结果。本发明实现在未经人为干预的情况下对视频流中的手势动作进行分类，计算量小，识别准确率高，可更高效提取出手势动作的特征，相对于复杂背景具有较强的鲁棒性。

主权项

1.一种基于深度学习的手势在线检测与识别系统，其特征在于：该方法的步骤如下：1)先使用Opencv软件工具提取出数据集中视频流的所有帧图像，其中每帧图像中均已被标注有局部手势区域，且每个局部手势区域已被标注分为静态手势或者动态手势的类别；2)将数据集中的视频流及其标注信息输入手势检测网络进行训练，手势检测网络采用MobileNet‑SSD；3)取一段完整的、标注有手势类别的、由RGB图像构成的手势动作视频流V输入训练好的手势检测网络进行手势的分割，通过手势检测网络获得每帧图像中标注为动态手势的局部手势区域，进而获得带有标注为动态手势的局部手势区域的图像帧的起止点t₁和t_n；4)采用分段随机采样算法，从起止点t₁和t_n之间的n帧图像中采样得到16帧RGB图像；5)将采样得到的16帧图像，采用TV‑L1光流算法提取获得16帧光流信息；6)将16帧RGB图像和16帧光流信息使用训练后的Inception V3网络进行空间上的特征提取，一帧RGB图像获得96个RGB特征图，一帧光流信息获得96个光流特征图；7)将提取到的所有RGB特征图和所有光流特征图分别输入到各自的手势识别网络中，手势识别网络采用3D残差网络(3D‑ResNeXt‑101)，RGB特征图和光流特征图各自对应建立一个手势识别网络形成双流手势识别模型，两个手势识别网络分别训练不进行权值共享，通过前向传播计算损失值，通过反向传播算法减少损失值，最终使损失值收敛，完成双流手势识别模型的训练；8)在预测阶段，将未经人为分割的待检测的手势视频流先输入训练后的手势检测网络进行手势的分割，每帧图像通过获得手势检测网络局部手势区域作为感兴趣区域，再将感兴趣区域输入步骤7)训练后的两个手势识别网络分别获得对应于RGB图像和光流图像的预测分类结果，预测分类结果为手势视频流对应于不同手势分类的概率分布，将两个预测结果取平均值，再取概率最大的为手势分类作为最终的分类结果。