[发明专利]识别交互手势的方法、装置、设备和存储介质

权利要求书

1.一种识别交互手势的方法，其特征在于，所述方法包括：

响应于检测到手部图像，识别所述手部图像中包含的手势属于静态手势或者动态手势；

当所述手势属于所述静态手势时，对以所述手部图像为起始帧图像的连续多帧图像进行手势保持检测处理，若检测到所述手势在所述连续多帧图像中保持不变，则确定所述手势为静态交互手势；

当所述手势属于所述动态手势时，对以所述手部图像为起始帧图像的连续多帧图像进行手势动作检测处理，若检测到所述手势在所述连续多帧图像中呈现出预设手势动作变化，则确定所述手势为动态交互手势；

所述响应于检测到手部图像，识别所述手部图像中包含的手势属于静态手势或者动态手势，包括：

响应于检测到手部图像，检测预定义的全体手部关键点；

基于所述全体手部关键点在所述手部图像中的位置，识别所述手部图像中包含的手势属于静态手势或者动态手势；

所述当所述手势属于所述动态手势时，对以所述手部图像为起始帧图像的连续多帧图像进行手势动作检测处理，包括：

当所述手势属于所述动态手势时，识别所述手势为手部局部动态手势或者手部整体动态手势；

若所述手势为所述手部局部动态手势，则确定与所述手部局部动态手势对应的预定义的手指关键点；

基于所述手指关键点在以所述手部图像为起始帧图像的连续多帧图像中的位置，得到所述手指关键点的移动轨迹；

基于所述手指关键点的移动轨迹，判断所述手部局部动态手势是否在所述连续多帧图像中呈现出所述预设手势动作变化。

2.根据权利要求1所述的方法，其特征在于，所述当所述手势属于所述动态手势时，识别所述手势为手部局部动态手势或者手部整体动态手势之后，所述方法还包括：

若所述手势为所述手部整体动态手势，则确定与所述手部整体动态手势对应的手部位置检测框；基于所述手部位置检测框在以所述手部图像为起始帧图像的连续多帧图像中的位置进行所述手势动作检测处理。

3.根据权利要求2所述的方法，其特征在于，

所述手部局部动态手势为手掌在图像中不发生移动，手指在图像中发生移动的局部动态手势；

所述手部整体动态手势为所述手掌和所述手指在图像中发生移动，且所述手掌与所述手指之间相对静止的整体动态手势；其中，所述手部位置检测框为对手掌和手指在图像中进行框选的检测框。

4.根据权利要求3所述的方法，其特征在于，

所述基于所述手部位置检测框在以所述手部图像为起始帧图像的连续多帧图像中的位置进行所述手势动作检测处理，包括：

获取所述手部位置检测框在所述手部图像和所述连续多帧图像中的位置；

根据各位置确定所述手部整体动态手势的移动轨迹和移动幅度；

基于所述手部整体动态手势的移动轨迹和所述移动幅度，判断所述手部整体动态手势是否在所述连续多帧图像中呈现出所述预设手势动作变化。

5.根据权利要求1所述的方法，其特征在于，所述当所述手势属于所述静态手势时，对以所述手部图像为起始帧图像的连续多帧图像进行手势保持检测处理，包括：

当所述手势属于所述静态手势时，检测所述连续多帧图像是否均为手部图像；

若所述连续多帧图像均为手部图像，则根据所述连续多帧图像中包含的手势是否均为所述静态手势，判断所述手势是否在所述连续多帧图像中保持不变。

6.根据权利要求1所述的方法，其特征在于，所述响应于检测到手部图像，识别所述手部图像中包含的手势属于静态手势或者动态手势之前，所述方法还包括：

对当前帧待检测图像进行手部检测；

若检测到所述当前帧待检测图像不是手部图像，则对与所述当前帧待检测图像间隔预设帧数的间隔帧图像进行手部检测；所述预设帧数对应的时间小于手部在图像中呈现出所述静态手势或所述动态手势的时间；

若检测到所述间隔帧图像为手部图像，则根据以所述间隔帧图像为起始帧图像的连续多帧待检测图像，确定所述连续多帧待检测图像是否均为手部图像。