[发明专利]一种手部姿态估计方法及装置

说明书

本申请涉及增强现实技术领域，提供一种手部姿态估计方法及装置，获取左摄像头采集的第一手部图像、右摄像头采集的第二手部图像，以及惯性传感器采集的AR设备的运动数据；根据第一手部图像、第二手部图像和运动数据，确定AR设备的位姿信息；从第一手部图像和第二手部图像中分别提取的手部关节点的2D坐标，得到第一2D坐标集合和第二2D坐标集合，结合AR设备的位姿信息，估计手部关节点的3D坐标，该方法节省了3D坐标的计算量，降低了对AR设备处理性能依赖，并且提高了3D坐标估计的准确性。

技术领域

本申请涉及增强现实(Augmented Reality，AR)技术领域，尤其涉及一种手部姿态估计方法及装置。

背景技术

随着人工智能技术的发展，增强现实(Augmented Reality，AR)、虚拟现实(Virtual Reality，VR)等技术得到广泛应用，人们可以沉浸在虚拟信息和真实环境相互融合的环境。增强现实等产品(例如AR眼镜)的出现可以给人们提供现实世界无法快速得到的信息，辅助人们提高工作效率，提供了许多有趣的生活体验。

手部关节点姿态估计是人机交互的重要技术，可以摆脱传统的通过鼠标或键盘输入信息的方式。通过准确估计手部关节点的3D空间姿态，从而实现利用简单手势给机器提供指令来快速传递信息，提高人机交互的效率和体验。

目前，手部关节点的3D空间姿态估计方法包括：一是基于单目手部图像，采用深度学习模型直接估计手部关节点的3D坐标信息，但计算复杂，严重依赖AR设备中GPU、APU、NPU、TPU等硬件的处理性能，实时性和准确性差；二是基于单目手部图像，采用深度学习模型先估计手部关节点的2D坐标信息，同时配合深度摄像头采集的手部深度图像，计算出手部关节点的3D坐标信息，但使用深度摄像头不仅增加了AR设备的功耗，缩短了待机时间，还受深度摄像头的视域范围(视场角小于等于55°)限制，交互范围较窄；三是借助第三方设备检测手部3D坐标信息，例如为用户手部戴上特制的手套，影响了用户手部活动的灵活性，降低了用户体验。

发明内容

本申请实施例提供了一种手部姿态估计方法及装置用以降低AR设备估计手部关节点3D坐标的硬件负荷，提高3D坐标估计的准确性。

第一方面，本申请实施例提供一种手部姿态估计方法，应用于AR设备，包括：

获取左摄像头采集的第一手部图像和右摄像头采集的第二手部图像，以及惯性传感器采集的运动数据；

根据所述第一手部图像、所述第二手部图像和所述运动数据，确定所述AR设备的位姿信息；

从所述第一手部图像中提取手部关节点的第一2D坐标集合，以及从所述第二手部图像中提取手部关节点的第二2D坐标集合；

根据所述第一2D坐标集合、所述第二2D坐标集合以及所述AR设备的位姿信息，估计所述手部关节点的3D坐标。

第二方面，本申请实施例一种增强现实AR设备，包括左摄像头、右摄像头、惯性传感器、存储器以及处理器；

所述左摄像头，与所述处理器连接，被配置为采集第一手部图像；

所述右摄像头，与所述处理器连接，被配置为采集第一手部图像；

所述惯性传感器，与所述处理器连接，被配置为采集所述AR设备的运动数据；

所述存储器，与所述处理器连接，被配置为存储计算机程序指令；

所述处理器，配置为根据所述计算机程序指令执行以下操作：

获取所述左摄像头采集的第一手部图像和所述右摄像头采集的第二手部图像，以及所述惯性传感器采集的运动数据；

根据所述第一手部图像、所述第二手部图像和所述运动数据，确定所述AR设备的位姿信息；