[发明专利]一种基于手势识别的交互方法

说明书

本发明涉及人机交互技术领域，具体涉及一种基于手势识别的交互方法，包括以下步骤：S1:将目标手势的图像数据输入第一神经网络模型；S2:基于第一神经网络模型识别手部区域；S3:基于第二神经网络模型判断手部区域是否完整；S4:基于21个关节特征点获取目标手势的静态手势分类；S5:基于IOU回溯辅助定位算法计算残缺手部区域的权重比例；S6:完成人机交互。本发明实现了手部区域范围的检测和21个关节特征点的识别，通过IOU回溯辅助定位算法，实现部分手部区域定位完整手部区域，不再需要人为在意手部是否完整出现在视野中，通过第三方绑定接口与第三方控制接口可以模块化集成第三方AI网络模型服务，实现了AI服务控制快速引入，为现代化人机交互提供了新方向。

技术领域

本发明涉及人机交互技术领域，具体涉及一种基于手势识别的交互方法。

背景技术

第一次交互技术变革让人们将设备控制集中在了一个遥控器上，第二次交互变革，手机成为了万物连接的入口，第三次交互变革，隔空手势交互逐渐成为发展趋势。长期以来，手势识别被认为是一种可以提供更自然、更有创意和更直观的与我们的计算机进行通信的交互方案，在人机交互中使用手势控制是一个市场需求广范的研究领域。市场需要一种跨越人机障碍的新技术，最终目标是以人为本，把人类个体本身作为交互中心，使得人机交互变得人性化，智能化。基于手势识别实现人机交互过程中，若手部区域范围不全，将导致识别结果错误，不利于人机交互，另外，现有的人机交互只能实现本机的交互，无法实现第三方应用的交互控制，不能满足现代化需求。

发明内容

本发明目的在于提供一种基于手势识别的交互方法克服现有技术的不足；

本发明所采用的技术方案是：

一方面：一种基于手势识别的交互方法，包括以下步骤：

步骤S1:将目标手势的图像数据输入第一神经网络模型，执行步骤S2；

步骤S2:基于第一神经网络模型识别手部区域，并将手部区域输入第二神经网络模型，执行步骤S3；

步骤S3:基于第二神经网络模型判断手部区域是否完整，若完整，输出21个关节特征点，执行步骤S4，若不完整，输出残缺手部区域，执行步骤S5；

步骤S4:基于21个关节特征点获取静态手势信息，基于静态手势信息获取目标手势的静态手势分类，执行步骤S6；

步骤S5:基于IOU回溯辅助定位算法计算残缺手部区域的权重比例，并将残缺手部区域的权重比例输入第一神经网络模型，执行步骤S2；

步骤S6:基于动态投票按需选择一种手势识别结果到逻辑交互中心，基于第三方指令绑定接口下发与所述手势识别结果所对应的交互指令，完成人机交互，其中，所述手势识别结果包括动态手势、静态手势。

进一步的，步骤S4中，基于21个关节特征点获取静态手势信息的方法包括以下步骤：

步骤S21:基于21个关节特征点分别计算各个手指的角度,执行步骤S22；

步骤S22:基于各个手指的角度分别判断各个手指状态，其中，当手指角度大于预设角度阈值时，则判断为伸直，当手指角度小于预设角度阈值时，则判断为弯曲,执行步骤S23；

步骤S23:基于手指状态获取静态手势信息。

进一步的，步骤S23中，基于手指状态获取静态手势信息的方法为：将手指状态信息输入第三神经网络，通过第三神经网络得到静态手势信息，其中，所述第三神经网络包括14分类静态手势。

进一步的，步骤S6中，基于动态投票按需选择动态一种手势识识别结果到逻辑交互的方法包括以下步骤：

S41：基于第一神经网络输出的手部区域与完整的手部区域进行动态划分，若两者差别不大，则执行步骤S42，若大，则执行步骤S43；