[发明专利]手势估计优化的方法、系统和电子装置

说明书

本申请涉及一种手势估计优化的方法、系统和电子装置，通过神经网络获取手势图像的第一关键点坐标；根据第一关键点坐标获取手掌法向向量和手指向量，根据手指向量在手掌法向向量上投影的正负性判断第一关键点坐标为左手或者右手；构建模型手，对模型手进行初始化，初始化包括：根据第一关键点坐标，获取模型手每根骨头的指骨长度和手掌部分的关键点的初始位置，手掌部分的关键点共面；获取手掌姿态和手指姿态，根据手掌姿态和手指姿态获取模型手的粗糙初始姿态；将粗糙初始姿态或上一帧手的姿态作为初始值，构建优化问题，求解优化问题，得到手的姿态，解决了手势估计过程中需要额外增加网络分支区分左手和右手，计算量高的问题。

技术领域

本申请涉及计算机视觉技术领域，特别是涉及手势估计优化的方法、系统和电子装置。

背景技术

随着人机交互技术的发展，人机交互方式如键盘、鼠标、触屏等在许多新兴领域已经难以满足用户的要求，在增强现实(Augmented Reality，简称为AR)、虚拟现实(VirtualReality，简称为VR)以及远程操控等场景下，用户更倾向于使用无线的、非接触式的方式实现人机交互。另一方面，基于计算机视觉技术的手势交互技术可以让用户摆脱繁杂的交互设备，利用特定的手势动作向机器发出指令，方便快捷，所以计算机视觉技术的发展满足了用户使用无线的、非接触式的方式实现人机交互的要求。

手势交互技术的核心在于估计手部各个关键点在空间中的三维坐标，通过该关键点的三维坐标判断用户的手势，通过获取各个手指的位置完成空中点击、空中滑动等动态手势交互，但相关技术中通常需要额外增加网络分支区分左手和右手。

目前针对相关技术中，需要额外增加网络分支区分左手和右手，计算量高的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种手势估计优化的方法、系统和电子装置，以至少解决相关技术中需要额外增加网络分支区分左手和右手，计算量高的问题。

第一方面，本申请实施例提供了一种手势估计优化的方法，所述方法包括：

获取手势图像，根据神经网络获取所述手势图像的第一关键点坐标；

根据所述第一关键点坐标获取手掌法向向量和手指向量，根据所述手指向量在所述手掌法向向量上投影的正负性判断所述第一关键点坐标为左手或者右手；

构建模型手，所述模型手包括手掌部分和手指部分，对所述模型手进行初始化，所述初始化包括：根据所述第一关键点坐标，获取所述模型手每根骨头的指骨长度和所述手掌部分的关键点的初始位置，其中，所述手掌部分的关键点共面；

获取所述手掌部分的手掌姿态和所述手指部分的手指姿态，根据所述手掌姿态和所述手指姿态获取所述模型手的粗糙初始姿态；

将所述粗糙初始姿态或上一帧手的姿态作为初始值，构建优化问题，求解所述优化问题，得到手的姿态，其中，所述优化问题包括优化目标和约束条件。

在其中一些实施例中，将所述粗糙初始姿态或上一帧手的姿态作为初始值，构建优化问题，求解所述优化问题，得到手的姿态包括：

将手的姿态输入到正向模型中，获得所述模型手的第二关键点坐标，根据所述第二关键点坐标和所述第一关键点坐标，构建第一优化目标Loss_loc；

根据优化变量和所述指骨长度，构建第二优化目标Loss_fg；

根据关节旋转的第一运动范围，构建第三优化目标Loss_r；

根据当前手的姿态和上一帧手的姿态，构建第四优化目标Loss_smooth；