[发明专利]关键点自动标注的方法、系统、电子装置和存储介质

说明书

本申请涉及一种关键点自动标注的方法、系统、电子装置和存储介质，通过获取双目摄像头同一时间戳下的两张手势图像，获取标注模型对两张手势图像标注的第一2D关键点坐标和第二2D关键点坐标；对两组2D关键点坐标进行畸变校正和极线校正；根据校正后的两组2D关键点坐标对应关键点的视差，计算第一手势图像的第一3D关键点坐标和第二手势图像的第二3D关键点坐标，公开和开源的基于彩色的手势2D关键点标注数据集较多，基于这些开源的数据，利用深度学习训练出一个精度较高的关键点标注模型，但彩色的手势3D关键点数据较少，且3D关键点很难人工标注，人工标注成本高，误差大，本申请方案可以较低成本获取大量高精度标注的3D关键点训练数据。

技术领域

本申请涉及关键点标注技术领域，特别是涉及关键点自动标注的方法、系统、电子装置和存储介质。

背景技术

随着技术的发展，增强现实(Augmented Reality，AR)和虚拟现实(VirtualReality，VR)等技术的应用逐渐普及，人们可以通过手指的动作与虚拟场景中的3D形象进行互动，这些功能的实现都基于对手指动作的灵敏捕捉，以准确地获取手指各个关节姿态信息。

为了捕获手指各个关节姿态信息，通常采用深度学习网络来训练算法模型，深度学习网络需要大量已标注关键点的手部数据集作为网络训练样本。相关技术中，手势2D关键点数据通常采用人工标注的方法，但人工标注成本很高，且对于部分关键点不可见或被遮挡的情况，人工标注会带来较大误差，3D关键点人工很难标注，可通过标注双目图像完成3D关键点标注，但会带来更多的人工成本，同时对于不可见关键点或遮挡区域会带来更大的误差，而自动标注的方案需要特定的场景或需要佩戴特定传感器，会污染图像，造成训练数据不可用。

目前针对相关技术中通过人工标注手势2D/3D关键点数据成本较高，误差较大，而自动标注会污染图像的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种关键点自动标注的方法、系统、电子装置和存储介质，以至少解决相关技术中通过人工标注手势2D/3D关键点数据成本较高，误差较大，而自动标注会污染图像的问题。

第一方面，本申请实施例提供了一种关键点自动标注的方法，所述方法包括：

获取双目摄像头同一时间戳下的第一手势图像和第二手势图像，其中，所述双目摄像头包括左摄像头和右摄像头，所述左摄像头拍摄的为所述第一手势图像，所述右摄像头拍摄的为所述第二手势图像；

获取标注模型对所述第一手势图像标注的第一2D关键点坐标和所述第二手势图像标注的第二2D关键点坐标；

获取对所述第一2D关键点坐标和所述第二2D关键点坐标进行畸变校正和极线校正后的第一2D关键点坐标和第二2D关键点坐标；

根据校正后的第一2D关键点坐标和第二2D关键点坐标对应关键点的视差，计算所述第一手势图像的第一3D关键点坐标和所述第二手势图像的第二3D关键点坐标。

在其中一些实施例中，所述计算所述第一手势图像的第一3D关键点坐标和所述第二手势图像的第二3D关键点坐标之后，所述方法还包括：

获取单目摄像头所述同一时间戳下的第三手势图像；

在所述单目摄像头距离所述右摄像头最近的情况下，根据就近原则，通过所述第二3D关键点坐标计算所述第三手势图像的第三3D关键点坐标，所述第三3D关键点坐标计算如下：

P_{3d_m}＝R_{r_to_m}P_{3d_r}+T_{r_to_m}，