[发明专利]一种基于手势识别的交互方法

权利要求书

1.一种基于手势识别的交互方法，其特征在于，包括以下步骤：

步骤S1:将目标手势的图像数据输入第一神经网络模型，执行步骤S2；

步骤S2:基于第一神经网络模型识别手部区域，并将手部区域输入第二神经网络模型，执行步骤S3；

步骤S3:基于第二神经网络模型判断手部区域是否完整，若完整，执行步骤S4，若不完整，执行步骤S5；

步骤S4:输出21个关节特征点，基于21个关节特征点获取静态手势信息，基于静态手势信息获取目标手势的静态手势分类，执行步骤S6；

步骤S5:输出残缺手部区域，基于IOU回溯辅助定位算法计算残缺手部区域的权重比例，并将残缺手部区域的权重比例输入第一神经网络模型，执行步骤S2；

步骤S6:基于动态投票按需选择一种手势识别结果到逻辑交互中心，基于第三方指令绑定接口下发与所述手势识别结果所对应的交互指令，完成人机交互，其中，所述手势识别结果包括动态手势、静态手势。

2.根据权利要求2所述的一种基于手势识别的交互方法，其特征在于，步骤S4中，基于21个关节特征点获取静态手势信息的方法包括以下步骤：

步骤S21:基于21个关节特征点分别计算各个手指的角度,执行步骤S22；

步骤S22:基于各个手指的角度分别判断各个手指状态，其中，当手指角度大于预设角度阈值时，则判断为伸直，当手指角度小于预设角度阈值时，则判断为弯曲,执行步骤S23；

步骤S23:基于手指状态获取静态手势信息。

3.根据权利要求2所述的一种基于手势识别的交互方法，其特征在于，步骤S23中，基于手指状态获取静态手势信息的方法为：将手指状态信息输入第三神经网络，通过第三神经网络得到静态手势信息，其中，所述第三神经网络包括14分类静态手势。

4.根据权利要求1所述的一种基于手势识别的交互方法，其特征在于，步骤S6中，基于动态投票按需选择动态一种手势识识别结果到逻辑交互的方法包括以下步骤：

S41：基于第一神经网络输出的手部区域与完整的手部区域进行动态划分，若两者差别不大，则执行步骤S42，若大，则执行步骤S43；

S42：选择进行静态手势分类，执行步骤S46；

S43：判断硬件开销是否允许动态裁剪,若允许，则执行步骤S44，不允许，则执行步骤S45；

S44:选择动态手势分类，基于21个特征节点获取动态手势信息，执行步骤S46；

S45：在预设时间内随机抽帧选取进行静态手势分类，执行步骤S46；

S46：输出手势识别结果并判断手势识别结果是否大于或者等于两个，若是，则执行步骤S47，若不是，则执行步骤S49；

S47:判断动态手势分类和静态手势分类的预测结果是否一致，若是，则执行步骤S48,若一致，则执行步骤S49；

S48:将动态手势分类和静态手势分类的预测结果进行加权投票，获取可能性最高的手势识别结果，执行步骤S49；

S49：输出唯一的手势识别结果。

5.根据权利要求1所述的一种基于手势识别的交互方法，其特征在于，所述第一神经网络模型为YOLOv5-s网络模型。

6.根据权利要求1所述的一种基于手势识别的交互方法，其特征在于，所述第二神经网络模型为Sqeenent网络模型。

7.一种基于手势识别的交互系统，其特征在于：包括图像采集模块、主板、逻辑交互中心、语音模块、屏幕设备、第三方AI模型插件模块，所述图像采集模块与主板连接，所述主板与逻辑交互中心连接，所述逻辑交互中心分别与语音模块、屏幕设备、第三方AI模型插件模块连接。

8.根据权利要求7所述的一种基于手势识别的交互系统，其特征在于，所述逻辑交互中心上设置有第三方指令绑定接口，所述第三方AI模型插件模块设置有第三方控制接口，所述逻辑交互中心与第三方AI模型插件模块通过第三方指令绑定接口、第三方控制接口连接。