[发明专利]手势跟踪方法、装置、电子设备和存储介质

说明书

本发明实施例提供了一种手势跟踪方法、装置、电子设备和存储介质，涉及图像处理技术领域。本发明实施例提供的手势跟踪方法、装置、电子设备和存储介质，基于第一人手检测框，对原图像进行裁剪，以得到第一图像，通过对第一图像进行特征提取得到第一特征图，判断第一特征图中是否存在人手，若第一特征图中存在人手，则对第一特征图进行分割，得到人手图像，将第一特征图和人手图像进行检测框回归处理，得到第二人手检测框，以第二人手检测框作为下一帧图像的输入，实现对下一帧图像的跟踪，实时性较好。

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种手势跟踪方法、装置、电子设备和存储介质。

背景技术

手势识别技术是指在一张图像中找出人手部分并对其姿势进行分类的技术。手势信息作为一种高层次的语义信息，被广泛的运用于人机交互场景中。

手势识别技术可以细分为三个子技术，分别是手势检测、手势分类和手势跟踪技术。其中手势检测技术负责从图像中检测到人手的包围框，手势分类技术负责对人手姿势进行分类，手势跟踪技术负责对检测到的人手进行跟踪，以保证一直检测到的手都是同一个人的手。

目前，基于深度神经网络的分类技术作为研究热点，出现了很多提高了网络运行效率的方法(例如网络蒸馏、网络量化等技术)，使得其在移动端实时运行成为可能，但是跟踪技术往往无法做到实时处理，其实时性较差。

发明内容

基于上述研究，本发明提供了一种手势跟踪方法、装置、电子设备和存储介质。

本发明的实施例可以这样实现：

第一方面，本发明实施例提供一种手势跟踪方法，应用于电子设备，所述手势跟踪方法包括：

基于第一人手检测框，对原图像进行裁剪，以得到第一图像；

对所述第一图像进行特征提取得到第一特征图；

判断所述第一特征图中是否存在人手，若所述第一特征图中存在人手，对所述第一特征图进行分割，得到人手图像；

将所述第一特征图和所述人手图像进行检测框回归处理，得到第二人手检测框，以根据所述第二人手检测框，对下一帧图像进行跟踪。

在可选的实施方式中，所述方法还包括：

若所述第一特征图中不存在人手，则对所述原图像进行特征提取得到第二特征图；

将所述第二特征图输入至区域建议网络，得到第一检测框；

对所述第二特征图中所述第一检测框对应区域的特征进行裁剪，得到裁剪后的特征图；

根据所述裁剪后的特征图对所述第一检测框进行精修处理，得到第三人手检测框，以根据所述第三人手检测框，对下一帧图像进行跟踪。

在可选的实施方式中，所述根据所述裁剪后的特征图对所述第一检测框进行精修处理，得到第三人手检测框的步骤包括：

将所述裁剪后的特征图输入至分类回归网络，得到检测框精修参数；

根据所述检测框精修参数对所述第一检测框进行精修处理，得到第三人手检测框。

在可选的实施方式中，在对所述原图像进行特征提取得到第二特征图之前，所述方法还包括：

对所述原图像进行肤色检测，得到所述原图像的人手概率图；

将所述原图像的人手概率图与所述原图像进行拼接，得到拼接后的原图像，所述第二特征图通过对所述拼接后的原图像进行特征提取得到。

在可选的实施方式中，所述对所述原图像进行肤色检测，得到所述原图像的人手概率图的步骤包括：