[发明专利]一种基于深度学习的悬浮动态手势人机交互系统

说明书

本发明提供一种基于深度学习的悬浮动态手势人机交互系统，包括数据采集及处理模块、深度学习分类模块和结果数据分析模块，数据采集及处理模块与深度学习分类模块之间、深度学习分类模块与结果数据分析模块之间通过开放API视频接口传输数据。本发明的优点为：通过深度学习方法与先进数据分析结合、仅利用易获得、成本低和操作方便的RGB相机来取代成本高、便捷性差的可穿戴设备进行实时动态手势识别，优化了人机交互系统，方便了使用者用动态手势操控计算机，拉近了人与计算机的距离，提升了应用效率。

技术领域

本发明涉及人机交互技术领域，具体涉及一种基于深度学习的、使用悬浮动态手势的人机交互系统。

背景技术

随着计算机技术的发展，人机交互技术已经成为人们日常生活中应用较为广泛的一种科技，成为了人们日常生活的关键组成部分。手势作为人机交互的一种方式，包括静态手势识别和动态手势识别。动态手势识别已经成为一种新兴的人机交互方式，同时也是一个重要的研究方向。传统的动态手势交互使用智能传感设备或可穿戴设备来定位人体的手的位置和角度，这类方法虽然识别精度高、速度快，但是成本高、便捷性差，不是自然的人机交互方式。

计算机视觉的手势识别系统的构建，是一种输入设备的构建，可以帮助人们将手势识别当做计算机的输入设备，缩短计算机和人之间的距离，提升计算机应用的效率，降低人类对计算机操作的难度。

发明内容

本发明的目的是提供一种通过深度学习方法与先进数据分析结合、仅利用易获得、成本低和操作方便的RGB相机来取代成本高、便捷性差的可穿戴设备、进行实时动态手势识别的人机交互系统。

为了达到上述目的，本发明通过以下技术方案来实现：

一种基于深度学习的悬浮动态手势人机交互系统，包括数据采集及处理模块、深度学习分类模块和结果数据分析模块，数据采集及处理模块与深度学习分类模块之间、深度学习分类模块与结果数据分析模块之间通过开放API视频接口传输数据；

数据采集及处理模块部署RGB相机，通过RGB相机对9类动态手势进行采集，采集数据以二进制文件存储，再进行数据转化，将二进制文件转化为RGB图片存储；

深度学习分类模块使用数据标注工具对图像数据进行标注，使用检测工具复检及人工交叉验证的方法保证标注数据的可靠性，在TensorFlow框架下编写深度学习手势分类模型并进行模型训练，训练后存储模型；

结果数据分析模块对视频的分类结果进行滤波，将滤波后的结果使用状态机分析，判断当前的动态手势属于哪一个类别，根据当前的手势状态进行对应的反馈并进行结果可视化显示。

进一步地，所述深度学习分类模块中的图像数据标注分为两个阶段：第一个阶段为运动检测标注，标注图片为数据采集人员进行9类动态手势演示时获取的视频帧，标注内容为每一帧是否有手在运动，有手势则标为1，无手势则标为0；第二个阶段为对分段图像进行动态手势的分类标注，共9类常见手势，类别用数字0-8表示，包括1类的背景类。

本发明与现有技术相比，具有以下优点：

本发明一种基于深度学习的悬浮动态手势人机交互系统，通过深度学习方法与先进数据分析结合、仅利用易获得、成本低和操作方便的RGB相机来取代成本高、便捷性差的可穿戴设备进行实时动态手势识别，优化了人机交互系统，方便了使用者用动态手势操控计算机，拉近了人与计算机的距离，提升了应用效率。

附图说明

图1是本发明一种基于深度学习的悬浮动态手势人机交互系统的模块流程示意图。

图2是本发明一种基于深度学习的悬浮动态手势人机交互系统的运动检测标注及复检工具的使用状态图。

图3是本发明一种基于深度学习的悬浮动态手势人机交互系统的动态手势分类标注工具的使用状态图。