[发明专利]视频中手势的识别方法、装置、可读存储介质及电子设备

权利要求书

1.一种视频中手势的识别方法，其特征在于，包括：

获取视频数据；

将所述视频数据输入第一网络模型；

根据所述第一网络模型的输出确定所述视频数据中包含手势区域的多个目标帧；其中，所述第一网络模型用于从视频帧中寻找目标区域并检测目标区域的类别，所述目标区域的类别包括：手势区域；

对于任一目标帧，判断所述任一目标帧、所述任一目标帧的前一帧和所述任一目标帧的后一帧的手势区域识别信息是否满足预设条件，如果是，根据所述任一目标帧、所述任一目标帧的前一帧和所述任一目标帧的后一帧的手势区域识别信息确定所述任一目标帧的手势区域识别结果，否则，将所述任一目标帧的手势区域识别信息作为所述任一目标帧的手势区域识别结果；所述预设条件包括：所述任一目标帧的前一帧的手势区域与所述任一目标帧的后一帧的手势区域的交并比不大于预设阈值，所述任一目标帧的前一帧的手势区域与所述任一目标帧的手势区域的交并比大于预设阈值，以及所述任一目标帧的后一帧的手势区域与所述任一目标帧的手势区域的交并比大于预设阈值；

识别各个目标帧的手势区域对应的手势类别；

对于任一目标帧，根据所述任一目标帧及其相邻目标帧的手势类别识别信息，确定所述任一目标帧的手势类别识别结果。

2.如权利要求1所述的方法，其特征在于，所述目标区域的类别还包括：人脸区域；

所述识别各个目标帧的手势区域对应的手势类别之前，还包括：

过滤各个目标帧的人脸区域。

3.如权利要求1所述的方法，其特征在于，所述第一网络模型采用anchor-free方法从视频帧中寻找所述目标区域，以及，采用轻量级卷积神经网络检测所述目标区域的类别。

4.如权利要求3所述的方法，其特征在于，所述轻量级卷积神经网络为ShuffleNetV2网络，所述ShuffleNetV2网络的骨干网络包括三个残差块层，其中第一层的残差块的个数不大于4，第二层的残差块的个数不大于8，第三层的残差块的个数不大于4。

5.如权利要求1所述的方法，其特征在于，识别各个目标帧的手势区域对应的手势类别，包括：

将各个目标帧的手势区域输入第二网络模型；

根据所述第二网络模型的输出确定各个目标帧的手势区域的对应的手势类别；

其中，所述第二网络模型用于根据图像特征计算预先设置的各个手势类别分别对应的评分。

6.如权利要求1所述的方法，其特征在于，识别各个目标帧的手势区域对应的手势类别之前，还包括：

将各个目标帧的手势区域作放大处理。

7.如权利要求1所述的方法，其特征在于，根据所述任一目标帧、所述任一目标帧的前一帧和所述任一目标帧的后一帧的手势区域识别信息确定所述任一目标帧的手势区域识别结果，包括：

根据所述任一目标帧的前一帧的手势区域识别信息和所述任一目标帧的后一帧的手势区域识别信息，确定所述任一目标帧的前一帧的手势区域的中心点坐标、手势区域宽度、手势区域高度，以及所述任一目标帧的后一帧的手势区域的中心点坐标、手势区域宽度、手势区域高度；

分别计算所述任一目标帧的前一帧的手势区域和所述任一目标帧的后一帧的手势区域的中心点坐标、手势区域宽度、手势区域高度的中间值，作为所述任一目标帧的手势区域识别结果。

8.如权利要求1所述的方法，其特征在于，根据所述任一目标帧及其相邻目标帧的手势类别识别信息，确定所述任一目标帧的手势类别识别结果，包括：

对于前预设个数的目标帧以后的任一目标帧，获取所述任一目标帧及其之前的预设个数目标帧的手势类别识别信息，其中包括预先设置的各个手势类别分别对应的评分；

按照预设权重分布，将所述任一目标帧及其之前的预设个数目标帧的各个手势类别分别对应的评分累加，得到修正后的所述任一目标帧的各个手势类别分别对应的评分；

将所述任一目标帧的评分最高的手势类别作为所述任一目标帧的手势类别识别结果。