[发明专利]基于神经网络的手势识别方法及系统

说明书

本公开提供了一种基于神经网络的手势识别方法及系统，通过构建训练样本集合，对训练样本的图像进行尺寸的归一化处理；对归一化处理后的图像中的手势进行分类，并制作不同的分割标签；对分类后的手势图像进行增强，构建FCN网络模型，利用增强后的图像对FCN网络模型进行训练；对训练后的FCN网络模型进行分类质量和分割质量的优化，利用优化后的FCN网络模型对采集样本进行识别，不仅在测试数据集上表现优秀，即使不经训练直接用于其他手势库或生活场景中，分类效果较好。

技术领域

本公开涉及一种基于神经网络的手势识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

计算机技术的深入应用，使得人机交互(HCI)技术的需求也随之日益增长。然而，键盘鼠标等传统机械交互方式，由于必须接触操作且需要适应过程，在很多场景中并不方便。随着计算机不断的人性化、智能化，以及用户体验、场景交互需求的不断发展，语音识别、人脸识别、人眼跟踪、人体姿态识别、手势识别等一些符合人类习惯的人机交互技术越来越受到重视。手势识别，作为日常生活中仅次于语音、人类最原始的交互方式，具有方便快捷、清晰准确、体验性好等诸多优势，成为近年来研究和应用的热点。

单目视觉静态图像手势识别(简称静态手势识别)，是最为经典传统的手势识别研究方向，同时也是多目视觉手势识别和动态图像手势识别等其他手势识别的基础。虽然静态手势识别技术已经相当成熟，但针对复杂背景的静态手势识别仍然存在技术瓶颈，对复杂环境、复杂背景的适应能力仍需提高。

目前主流的技术手段主要分为两类：

第一类，以图像特征提取为主的传统技术手势识别技术，由人工设计提取图像特征，针对提取的特征，再利用传统模式识别技术(支持向量机、随机森林、ANN分类器等)进行分类。其优缺点是：分类特征和分类器由人工设计，针对性强，可充分结合手势自身形状。因此，分类效果较好，但不能很好适应各种应用场景。

第二类，以卷积神经网络(CNN)为主的手势识别技术，依靠网络自学习得到CNN分类器。其优缺点为：类特征和分类器由网络自学习得到，环境适应性好，但未能有效利用手势形状的先验知识。因此，对应用场景适应能力较强，但容易受到复杂背景干扰。

除此之外，近两年也出现了将两种方式相结合的手势识别方式，但多数都未能有效克服上述两类方法中的技术问题，有待改进提高。

发明内容

本公开为了解决上述问题，提出了一种基于神经网络的手势识别方法及系统，本公开通过创新深度挖掘FCN预测值的潜在信息，将神经网络自学习能力和手势形状的先验知识有机结合，实现了高准确率和强环境适应能力的双赢。

根据一些实施例，本公开采用如下技术方案：

一种基于神经网络的手势识别方法，包括以下步骤：

采集手势图像数据并逐一制作分割标签，构建训练样本库；

对训练样本库中的样本及其标签进行尺寸的归一化处理，并进行数据增强；

构建FCN模型，使用增强后的训练样本库训练FCN模型；

使用训练后的FCN模型对采集样本进行预测，产生预测值；

使用FCN分类提升，提取FCN预测值中的分类信息和分割信息并依据综合判定标准完成手势类型判定。

作为进一步的限定，在产生预测值和使用FCN分类提升之间,还包括步骤:使用基于肤色归一化的二次预测，改善FCN预测效果。

作为进一步的限定，构建训练样本集合的过程中，使用纯绿色背景(RGB值为[0255 0])随机拍摄10组以上手势，对样本中的手势图像及其标签进行缩放或/和边缘补零操作将图像长尺寸进行归一化。