[发明专利]一种手部骨节定位方法和装置

说明书

本发明公开了一种手部骨节定位方法和装置，涉及图像检测技术领域。该方法的一具体实施方式包括：在上一帧图像的手部骨节热力图中定位出检测框；其中，所述检测框的中心为中指根部所在区域内的任意位置；根据所述检测框在下一帧图像中裁剪出手部图像；将所述手部图像输入至预先训练的手部骨节检测模型中，从而输出手部骨节热力图。该实施方式能够解决手指突变响应不及时的技术问题。

技术领域

本发明涉及图像检测技术领域，尤其涉及一种手部骨节定位方法和装置。

背景技术

手部骨节定位在AR/VR、人机交互中有普遍的应用。目前主要通过深度神经网络训练输入输出的映射关系来实现对未知图像中手部骨节的定位。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有技术面临无法及时响应手指突变的问题，尤其是在握拳时突然、快速伸手指，那么总是采样到不完整的手部图像，经过几帧数据后才能采样到完整的手部图像。这就导致在视觉上，骨节定位滞后于手部的运动，从而导致手指突变响应不及时的问题。

发明内容

有鉴于此，本发明实施例提供一种手部骨节定位方法和装置，以解决手指突变响应不及时的技术问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种手部骨节定位方法，包括：

在上一帧图像的手部骨节热力图中定位出检测框；其中，所述检测框的中心为中指根部所在区域内的任意位置；

根据所述检测框在下一帧图像中裁剪出手部图像；

将所述手部图像输入至预先训练的手部骨节检测模型中，从而输出手部骨节热力图。

可选地，所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到食指根部的距离为半径形成的区域；或者，

所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到无名指根部的距离为半径所形成的区域。

可选地，所述中指根部所在区域为所述中指根部。

可选地，所述检测框的大小根据手部骨节的外接矩形框而确定。

可选地，所述检测框的边长为手部骨节的外接矩形框的边长的1.2-2倍；其中，所述外接矩形框的边长为所述外接矩形框的高度或者宽度中的最大值。

可选地，在上一帧图像的手部骨节热力图中定位出检测框之前，还包括：

根据原始图像生成原始样本图像；

对所述原始图像进行随机扰动，从而生成扰动样本图像；

分别将所述原始样本图像和所述扰动样本图像转换成对应的手部骨节热力图；

将所述原始样本图像和所述扰动样本图像输入到模型中，并以所述原始样本图像对应的手部骨节热力图和所述扰动样本图像对应的手部骨节热力图作为输出，训练所述模型，从而得到手部骨节检测模型。

可选地，根据原始图像生成原始样本图像，包括：

在原始图像中标记出手部骨节和检测框；

根据所述检测框在所述原始图像中裁剪出原始样本图像。

可选地，对所述原始图像进行随机扰动，从而生成扰动样本图像，包括：

对所述检测框的中心进行随机扰动，从而在所述原始图像中标记出扰动框；

根据所述扰动框在所述原始图像中裁剪出扰动样本图像。