[发明专利]一种基于深度学习的悬浮动态手势人机交互系统

权利要求书

1.一种基于深度学习的悬浮动态手势人机交互系统，其特征在于：包括数据采集及处理模块、深度学习分类模块和结果数据分析模块，数据采集及处理模块与深度学习分类模块之间、深度学习分类模块与结果数据分析模块之间通过开放API视频接口传输数据；

数据采集及处理模块部署RGB相机，通过RGB相机对9类动态手势进行采集，采集数据以二进制文件存储，再进行数据转化，将二进制文件转化为RGB图片存储；

深度学习分类模块使用数据标注工具对图像数据进行标注，使用检测工具复检及人工交叉验证的方法保证标注数据的可靠性，在TensorFlow框架下编写深度学习手势分类模型并进行模型训练，训练后存储模型；

结果数据分析模块对视频的分类结果进行滤波，将滤波后的结果使用状态机分析，判断当前的动态手势属于哪一个类别，根据当前的手势状态进行对应的反馈并进行结果可视化显示。

2.根据权利要求1所述的一种基于深度学习的悬浮动态手势人机交互系统，其特征在于：所述深度学习分类模块中的图像数据标注分为两个阶段：第一个阶段为运动检测标注，标注图片为数据采集人员进行9类动态手势演示时获取的视频帧，标注内容为每一帧是否有手在运动，有手势则标为1，无手势则标为0；第二个阶段为对分段图像进行动态手势的分类标注，共9类常见手势，类别用数字0-8表示，包括1类的背景类。