[发明专利]一种三维人体姿态估计方法、系统及存储介质

说明书

本发明公开了一种三维人体姿态估计方法、系统及存储介质，获取human3.6m人体姿态估计数据集，将数据集划分为训练集和验证集两部分。获得输入，即三维关键点坐标序列。这里在二维人体姿态估计网络CPN的结果基础上，实现三维人体姿态估计。第一步：对视频输入的每一帧17个关键点的二维坐标进行向量和位置编码，进行维度的提升，利于提取特征。第二步：使用transformer结构提取每一帧中17个关键点的相关特征，得出关键点之间的空间关系特征。第四步，将空间关系特征输入到扩张卷积模块，扩大感受野范围，提取时间特征。将空间与时间特征进行融合。最终得到单帧的17个关键点的三维坐标。

技术领域

本发明属于人体姿态估计领域，具体涉及一种三维人体姿态估计方法、系统及存储介质。

背景技术

人体姿态估计是指通过机器学习和图像处理等方法检测和识别出图像中人体的关节点，并定位各个关节点的位置。该技术可应用于动作捕捉、人机交互、异常行为检测、影视特效制作、动作迁移、虚拟角色驱动等，同时该技术也可以辅助行为识别、行为理解等技术。之前的姿态估计方法中，往往采用卷积神经网络或者循环神经网络来进行人体姿态的估计，但是普通卷积神经网络总是激活小范围的数据以供观察，而循环神经网络局限于简单的序列相关性，且下一状态取决于上一状态结果，不能并行处理。所以本发明提供一种可以应用于视频中的基于扩展卷积和注意力机制的三维人体姿态估计方法。

现有的基于深度学习的三维人体姿态估计方法大致可以分为三类：基于直接回归的三维人体姿态估计、基于2D信息的三维人体姿态估计以及基于混合方法的三维人体姿态估计。基于直接回归的三维人体姿态估计存在贡献分配问题，基于混合方法的网络又过于复杂，所以我们选择基于二维信息的三维人体姿态估计方法。以二维骨架序列为输入，经过三维人体姿态估计网络，输出人体关键点的三维坐标，基本过程如图1所示。

发明内容

本发明的目的在于，目的在于提供了一种三维人体姿态估计方法、系统及存储介质，

为了解决技术问题，本发明的技术方案是：

一种三维人体姿态估计方法，所述方法包括：

S1：对human3.6m人体姿态估计数据中视频的每一帧的多个二维关键点坐标序列进行向量编码和位置编码，得到编码后的输入；

S2：利用编码后的输入，使用多头注意力机制提取每一帧中多个关键点的相关特征，得出关键点之间的空间关系特征；

S3：将空间关系特征输入到扩张卷积网络中提取时间特征，并将空间关系特征与时间特征进行融合；最终得到人体关键点的三维坐标，即实现了三维人体姿态估计。

进一步，在步骤S1之前，所述方法还包括：获取human3.6m人体姿态估计数据；

进一步，所述步骤S1具体包括：

对输入的每一帧的17个二维关键点坐标(x₁,y₁)...(x₁₇,y₁₇)进行向量编码，通过线性投影矩阵E∈R^J*C将二维的坐标映射到更高的维度C，同时添加位置编码E_SP∈R^J*C记录每一个关键点在序列中的位置信息，得到编码后的输入X₀，过程如公式(1)所示；

X₀＝[(x₁,y₁)E,...(x₁₇,y₁₇)E]+E_sp (1)。

进一步，所述步骤S2，具体包括：

首先将编码后的输入X₀进行层归一化后，线性映射到查询矩阵Q、键矩阵K和值矩阵V上，作为多头注意力的输入：