[发明专利]一种基于深度学习的图像手势动作在线检测与识别方法

说明书

本发明公开了一种基于深度学习的图像手势动作在线检测与识别方法。提取所有帧图像，每帧图像已被标注，并输入手势检测网络训练；一段手势动作视频流输入手势检测网络，获得每帧图像中标注为动态手势的局部手势区域，获得带有标注为动态手势的局部手势区域图像帧；用分段随机采样算法采样处理，提取获得光流信息，进行空间上特征图提取，将特征图输入到各自的手势识别网络训练；将待检测手势视频流输入手势检测网络，分别获得预测分类结果，取平均值再取概率最大的为最终结果。本发明实现在未经人为干预的情况下对视频流中的手势动作进行分类，计算量小，识别准确率高，可更高效提取出手势动作的特征，相对于复杂背景具有较强的鲁棒性。

技术领域

本发明涉及一种手势识别方法，尤其是涉及了一种基于深度学习的图像手势动作在线检测与识别方法，通过卷积网络学习高度抽象的特征，具有准确率高鲁棒性强等特征。

背景技术

近年来，手势识别主要还停在对单一简单背景下的静态手势进行分割，然后采用常用的识别方法将手势表达的含义分析出来。但现实应用中，手势通常是一段处于复杂背景下的连续动作，如何将这些复杂环境中的手势进行无监督分割和识别目前急需解决的问题。

目前对手势识别方法为基于穿戴式输入设备手势识别和视觉手势识别两大类。穿戴式输入设备具有携带方便、移动性好、不受环境影响、获取的数据稳定，且可直接用于分类器识别，不需要进行信号预处理及特征分析等步骤、识别率高且速度快，可直接获得手在空间的三维信息和手指的运动信息。但其成本较高、舒适性差、灵活性不高，实际应用价值较低。在传统的基于手工特征的手势识别成本低、采集范围大、视野宽、手可以自由活动，自由度较高，容易被手语者接受，而其易受光照、背景影响、识别率较低。基于深度学习视觉的手势识别应运而生，其具有自主学习特征能力，能自动从原始输入中提取出有效的高级特征，耗时少，强大的学习和泛化能等特点，当然由于深层网络结构的计算量较大，识别速度有待提高。

发明内容

针对无人机、智能小车、家用设备等技术领域需要高准确率的手势识别技术，本发明的目的在于提出了一种基于深度学习的图像手势动作在线检测与识别方法。本发明利用卷积网络提取高度抽象的手势动作在时间维度和空间维度上的特征，通过卷积网络自动组合特征并将其映射到相应的手势类别上，解决了现有手势识别还停留在对图像的识别和需要人为干预的问题。

本发明解决其技术问题所采用的技术方案步骤如下：

1)先使用Opencv软件工具提取出数据集中视频流的所有帧图像，其中每帧图像中均通过数据集标注工具已被标注有局部手势区域，局部手势区域为带有完整手势的图像区域，且每个局部手势区域已被标注分为静态手势或者动态手势的类别；

视频流为人体进行手势动作时候从正面拍摄的视频。

具体实施中，数据集标注工具采用LabelImg(标签图)对局部手势区域进行标注。

静态手势是指仅由保持静止的手势构成的手势动作，动态手势是指不同比划运动而变化手势构成的手势动作。

2)将数据集中的视频流及其标注信息输入手势检测网络进行训练，手势检测网络采用MobileNet-SSD(轻量化移动网络-单射多边框检测器)；

3)取一段完整的、标注有手势类别的、由RGB图像构成的手势动作视频流V输入训练好的手势检测网络进行手势的分割，通过手势检测网络获得每帧图像中标注为动态手势的局部手势区域，进而获得带有标注为动态手势的局部手势区域的图像帧的起止点t₁和t_n；

手势类别分为有表达语义的数种类别，动态手势的手势类别分为男、女、头发、警察等日常用语，静态手势的手势类别分为当未开始做这些不同的手势类别或已经结束时处于静止时的状态。

4)采用分段随机采样算法，从起止点t₁和t_n之间的n帧图像中采样得到16帧RGB图像；