[发明专利]一种基于多尺度卷积神经网络的静态手势识别方法

说明书

首次提出一种多尺度的卷积神经网络的静态手势识别方法，本发明基于深度学习的Caffe框架进行优化设计，并进用图像处理的技术原理对静态手势图片进行识别。首先对于简单背景下和复杂背景下的静态手势图片数据进行采集与预处理，数据分为训练数据与测试数据；搭建实验测试环境的搭建后进行基于多尺度的卷积神经网络的设计，即：确定神经网络层数，选择合适的尺度特征等；把训练数据放入此网络结构中进行学习后输入测试数据样本进行测试，得出识别精度。此发明能够利用卷积层自动学习手势特征，克服了人工提取特征的弊端以及常见卷积神经网络提取特征不够精细全面及稳定性欠佳等缺点，相比之下识别精度更高，训练时间相当；且此方法灵活性强，适用性广。

技术领域

本发明属于运用深度学习进行图像处理的技术领域，涉及一种多尺度卷积神经网络的静态手势识别方法。

背景技术

随着计算机技术、通讯技术、硬件设备等的飞速发展，人机交互已经在生活中越来越频繁，人类非语言沟通(手势，身体姿势和面部表情的沟通)占人类所有沟通的三分之二。并且手势具有自然、直观、易学等优点，成为了研究的热点。

手势识别技术依据硬件设备分类，主要可以分为基于数据手套的手势识别技术和基于摄像头的手势识别技术。基于数据手套的手势识别技术具有数据精确，识别率高，抗干扰性能好等优点，但存在设备昂贵、识别过程中必须佩戴数据手套等缺点。基于摄像头的手势识别 (Artificial Intelligence Review,2015,43(1):1-54.)，运用计算机视觉技术，无需佩戴昂贵的设备，人机交互过程更加自然，目前该技术已经成为手势识别的主流技术。但该技术仍存在识别率较低，受外界环境影响大等缺点，所以还需要不断地研究和改善。

传统的基于图像的静态手势识别技术需要人工提取手势特征进行识别，容易受到环境影响，特征的设计和选择对实验结果影响非常大，Yi Wang等提出了一种RGB-D深度信息的静态手势识别方法(Trans Tech期刊,2014:248-254.)，识别精度较高，但对于人工提取特征的依赖性高；基于随着深度学习发展迅速，并且在机器视觉，自然语言理解等上取得了很好的成效。现有的AlexNet、GoogLeNet等深度学习算法已经在图像分类上取得了很好的成果，具有良好的应用前景。但是目前采用深度学习算法的手势识别技术研究相对比较少，常见的深度学习网络如AlexNet，CaffeNet等网络结构只利用了最后提取的高层特征进行图像的分类识别，这导致往往很难区分需要精细特征才能判断的对象，比如区分汽车的型号，动物的物种等。吴杰(吴杰.基于深度学习的手势识别研究[D].电子科技大学,2015.)在LeNet-5 卷积神经网络基础上设计了基于深度卷积神经网络的静态手势识别方法，此方法不用人工提取特征，网络通过训练自动学习特征，但特征提取不够精细、精度不够高，在静态手势识别中采用常见的单一特征卷积神经网络很难取得很好的识别效果。SongfanYang等人提出了一种基于多尺度特征的卷积神经网络用于图像分类识别技术。根据生理学家的对哺乳动物视觉系统的研究(Proceedings of the IEEE International Conferenceon Computer Vision.2015: 1215-1223.)，对于图像表示应该从不同分辨率来进行描述。本发明借鉴Songfan Yang等人提出的基于多尺度特征的卷积神经网络，通过提取不同尺度，更加准确的表征了图像，使得卷积神经网的识别率得到提升。

传统的基于视觉的手势识别方法，大都是通过人工提取手势特征进行识别，容易受到环境影响，特征的设计和选择对实验结果影响非常大，所以手势识别模型设计难度非常大；基于深度卷积神经网络这类的静态手势识别方法，特征提取不够精细、精度不够高；本发明首次提出基于多尺度的卷积神经网络的手势识别方法，利用卷积层自动学习手势特征，克服了人工提取特征的弊端的同时又更加准确的表示了图像。此种静态手势识别方法尚未见相关文献报道。

发明内容