[发明专利]端到端多视角三维人体姿态估计方法、系统及存储介质

权利要求书

1.一种端到端多视角三维人体姿态估计方法，其特征在于，包括：

步骤1、加载预训练后的二维人体姿态估计网络，同时将当前每个视角的图片作为该网络的输入；

步骤2、通过二维人体姿态估计网络生成热力图b_t(p)，将其作为LSTM热力图时序信息提取网络的输入；

步骤3、根据时间序列步长T的取值将热力图b_t(p)输入至LSTM初始化热力图时序信息提取网络及LSTM热力图时序信息提取网络，得到细胞态及隐藏态；

步骤4、将得到的隐藏态馈送到解码器网络g(·)中，得到解码后的热力图d_t(p)；

步骤5、将热力图b_t(p)与解码后的热力图d_t(p)进行融合，得到融合了时间与空间信息的热力图H_t(p)；

步骤6、将热力图H_t(p)送入soft-argmax线性代数三角化网络中得到2D点位置；

步骤7、求解齐次三维坐标向量上的超定方程采用可微分的DLT-SII算法，得到最终的三维人体姿态估计点；

所述步骤3中，时间序列步长T＝1时，由上一个阶段得到的热力图将被送入LSTM初始化网络中得到相应的初始细胞态及初始隐藏态；在时间序列步长T1时，将上一个阶段的细胞态、隐藏态及当前阶段的热力图输入LSTM网络中，得到了当前阶段的细胞态、隐藏态，将当前阶段的隐藏态及细胞态以变量的形式进行保存作为下一个阶段的输入。

2.如权利要求1所述估计方法，其特征在于，所述步骤1中，二维人体姿态估计网络为Resnet-152网络。

3.如权利要求1所述估计方法，其特征在于，所述步骤2中，设是输入网络的多视角图片，V代表视角的个数，视频有t帧，即t∈{1,2,....,T}，其中T为设置的时间序列步长，F(·)是二维热力图提取网络Resnet，为t时刻所有视角下P个关节点的热力图b_t(p)：

b_t(p)＝F(X_t)；

式中，W和H分别代表每一帧图像的宽和高。

4.如权利要求1所述估计方法，其特征在于，所述步骤4中，解码器网络g(·)由五个卷积层构成，分别以三个卷积核大小3，输出通道数为128的卷积、一个卷积核大小为1，通道数为128的卷积及一个卷积核大小为1，通道数以人体关键点数量为通道数量的卷积构成：

d_t(p)＝g(h_t),

得到解码后的热力图W和H分别代表每一帧图像的宽和高，V代表视角的个数，P代表关节点个数。

5.如权利要求1所述估计方法，其特征在于，所述步骤5中，将热力图b_t(p)与解码后的热力图d_t(p)进行加权平均，得到热力图H_t(p)：

6.如权利要求1所述估计方法，其特征在于，所述步骤7中，最终的三维人体姿态估计点的求解方法包括：

步骤7.1、计算跨空间轴的softmax：

式中，H_t'(p)表示归一化后的热力图；r_x、r_y、r、W分别表示x轴的像素索引、y轴的像素索引、单个像素、图像的宽；

步骤7.2、计算二维热力图的质心，将其作为关节点的位置，

步骤7.3、采用线性代数三角化方法，将寻找三维点简化为求解一个超定系统在齐次三维坐标向量上的方程：

其中是由投影矩阵及二维关节点x_t(p)构成的矩阵；V代表视角的个数；

步骤7.4、求解方程求解得到的三维人体姿态坐标点由非齐次坐标点转换为欧拉坐标点获得。