[发明专利]一种基于对数路径积分特征和卷积神经网络的手势识别方法

说明书

本发明公开了一种基于对数路径积分特征和卷积神经网络的手势识别方法，步骤包括：对视频数据进行标注，训练一个基于Faster‑RCNN的手部检测器；利用手部检测器对视频样本逐帧进行检测，获得每一帧的手部位置；基于每一帧的手部位置，结合时间和深度构建出二维、三维和四维的手部轨迹；对手部轨迹进行数据增强；对增强后的轨迹样本提取相应的对数路径积分特征；将对数路径积分特征按照空间位置信息进行排列，构建出对应的特征立方体；将特征立方体作为卷积神经网络的输入，并最终输出识别结果。本发明将鲁棒的对数路径积分特征应用于手势识别领域，并提出新的数据增强方法随机弃帧，在不同的背景和光照条件下，都能准确识别手势种类。

技术领域

本发明涉及计算机视觉和机器学习技术领域，具体涉及一种基于对数 路径积分特征和卷积神经网络的手势识别方法。

背景技术

目前，计算机已经得到广泛的应用，人机交互也已经成为人们生活的 一个部分。从人机交互的发展上来看，人机交互的方式包括现有的鼠标， 键盘以及更加先进的触摸屏，但是上面提到的方法都无法脱离“接触式”的 交互方式。因此，更加贴近人类表达本能的手势交互方式得到更多的重视。 手势交互利用计算机视觉，计算机图形学等技术识别人体的手势动作，并 将手势的含义转化为设备的操作指令。在对话的过程中，手势除了能够传 递语义信息，还可以传递说话人的性格、文化背景、感情色彩、说话的动 机以及对听众的态度。许多心理学的研究表明，肢体运动不仅仅能于传递 语义信息、方法自己的感情色彩和弥补言语无法表达的场景，还能够让说 话人做出更加复杂而生动的表达。因而，识别和理解肢体语言是理解和模 拟人体行为的必要条件。基于计算机视觉的手势识别任务作为计算机视觉 领域中一个重要的任务，从19世纪70年代开始就受到学术界广泛的关注。

识别主要可以分为基于传统机器学习的方法和基于深度学习的方法。 基于传统方法进行手势识别，主要是提取特征描述子训练分类器进行手势 识别。所以，特征是否有用将直接影响分类器的训练效果。近几年，深度 卷积神经网络出现，基于深度学习的手势识别主要可以分为：单纯使用卷 积神经网络和卷积神经网络结合循环神经网络两种，其中使用的比较多的 是卷积神经网络结合循环神经网络的方法。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于对数 路径积分特征和卷积神经网络的手势识别方法，以弥补现有特征适用场景 单一的局限性，进一步提高手势识别的精度。

本发明的目的可以通过采取如下技术方案达到：

一种基于对数路径积分特征和卷积神经网络的手势识别方法，包括步 骤：

S1、对视频数据进行标注，训练一个基于Faster-RCNN的手部检测器；

S2、利用训练好的手部检测器对训练集和测试集的视频样本逐帧进行 检测，获得每一帧的手部位置；

S3、基于每一帧的手部位置，结合时间信息和深度信息，构建出二维、 三维和四维三种形式的手部轨迹；

S4、对所获得的手部轨迹进行数据增强，包括随机弃帧以及常规操作， 其中，常规操作包括旋转、变形和平移；

S5、对增强后的轨迹样本提取相应的对数路径积分特征，计算出每一 个轨迹点对应的对数路径积分特征；

S6、将对数路径积分特征按照空间位置信息进行排列，从而构建出对 应的特征立方体；

S7、将训练集的特征立方体作为卷积神经网络的输入，训练卷积神经 网络，并将测试集作为训练好的卷积神经网络的输入，输出最终的识别结 果。

进一步地，所述的步骤S1包括：

S11、将待识别的数据库的训练集视频分解成帧；

S12、利用标注工具，标注出每一帧手的位置的外接矩形，并将外接矩 形的左上角和右下角坐标记录于xml文件中；