[发明专利]多人三维姿态估计方法、装置及电子设备

说明书

本申请提供一种多人三维姿态估计方法、装置及电子设备，所述方法包括：获取相机拍摄的多人图像；基于骨干网络对所述多人图像进行特征提取，得到特征图；基于二维姿态回归模型对所述特征图进行回归计算，得到二维姿态结果；基于所述二维姿态结果和深度回归模型对所述特征图进行回归计算，得到深度回归结果；基于所述二维姿态结果和所述深度回归结果计算得到三维姿态估计结果。本申请将二维姿态回归与深度回归相关联，无需再对人体关键点进行分组，简化了多人三维姿态估计方法的过程。通过将二维姿态引导特征与根深度回归中的特征进行合并，提高了深度回归结果中的根绝对深度的估计结果的准确度，使得多人三维姿态估计的结果更加精确。

技术领域

本申请涉及姿态估计技术领域，尤其涉及一种多人三维姿态估计方法、装置及电子设备。

背景技术

人体姿态的表示方式一般是以骨架的形式表示，从单一图像估计单人的三维人体姿态估计任务取得了显著进展，一个更加现实和具有挑战性的任务引起了越来越多的关注，即:从单一图像估计多人的三维人体姿态。

目前，应用单阶段回归模型实现多人三维人体姿态估计在现实场景中存在以下一些问题：由于单一图像的深度信息不够明确，因此使用单一图像实现三维人体姿态估计会得到的估计结果并不准确。使用绝对深度来监督无法感知诸如人体尺度和背景位置等高级特征。

发明内容

有鉴于此，本申请的目的在于提出一种多人三维姿态估计方法、装置及电子设备用以解决或部分解决上述技术问题。

基于上述目的，本申请提供了一种多人三维姿态估计方法，包括：

获取相机拍摄的多人图像；

基于骨干网络对所述多人图像进行特征提取，得到特征图，其中，所述骨干网络为基于深度学习方法训练得到的模型；

基于二维姿态回归模型对所述特征图进行回归计算，得到二维姿态结果，其中，所述二维姿态回归模型为基于深度学习方法训练得到的模型；

基于所述二维姿态结果和深度回归模型对所述特征图进行回归计算，得到深度回归结果，其中，所述深度回归模型为基于深度学习方法训练得到的模型；

基于所述二维姿态结果和所述深度回归结果计算得到三维姿态估计结果。

进一步的，所述二维姿态结果包括：人体关键点、人体中心关键点坐标和人体关键点偏移映射集。

进一步的，所述基于二维姿态回归模型对所述特征图进行回归计算，包括：

基于所述特征图，根据以下公式分别对每个所述人体关键点对应的所述人体关键点偏移映射集中的每个人体关键点偏移映射进行计算：

O₁＝F₁(X₁),O₂＝F₂(X₂),...,O_n＝F_n(X_n)

其中，F_m是第m个人体关键点对应的第m个回归器，O_m是第m个人体关键点偏移映射，X_m是所述特征图分解得到的第m个人体关键点对应的第m个子特征图，1≤m≤n，n为所述人体关键点偏移映射集中偏移映射个数，其中，所述回归器为基于自适应卷积学习模型训练得到的模型。

进一步的，所述基于所述二维姿态结果和深度回归模型对所述特征图进行回归计算，得到深度回归结果，包括：

基于所述特征图通过所述深度回归模型输出根深度回归结果和相对深度回归结果；

基于所述特征图通过卷积计算得到二维姿态引导特征；

基于所述二维姿态引导特征和所述根深度回归结果计算得到根关键点深度回归结果；