[发明专利]端到端多视角三维人体姿态估计方法、系统及存储介质

说明书

本发明涉及一种端到端多视角三维人体姿态估计方法、系统及存储介质，其包括：加载预训练后的二维人体姿态估计网络，将当前每个视角的图片作为该网络的输入；通过二维人体姿态估计网络生成热力图，将其作为LSTM热力图时序信息提取网络的输入；根据时间序列步长T的取值将热力图输入至LSTM初始化热力图时序信息提取网络及LSTM热力图时序信息提取网络，得到细胞态及隐藏态；将得到的隐藏态馈送到解码器网络中，得到解码后的热力图；将热力图与解码后的热力图进行融合，得到融合了时间与空间信息的热力图H_t(p)；将热力图H_t(p)送入soft‑argmax线性代数三角化网络中得到2D点位置；求解齐次三维坐标向量上的超定方程采用可微分的DLT‑SII算法，得到最终的三维人体姿态估计点。

技术领域

本发明涉及一种计算机视觉领域，特别是关于一种基于深度学习网络，结合时间特征及空间特征的端到端多视角三维人体姿态估计方法、系统及存储介质。

背景技术

人体姿态估计是计算机视觉的重要任务之一，其在人机交互、动画制作、行为识别领域有着广泛的应用。其中，现有的人体姿态估计的研究方向主要有二维人体姿态估计及三维人体姿态估计，尽管二维人体姿态估计有自遮挡、运动模糊、服饰带来的语义模糊、光照条件不一、人体姿态的部分缺失等挑战，但现有研究在二维人体姿态估计领域已经取得了较好的研究进展，可以在大部分情况较为准确的估计出人的二维人体姿态，比如自下而上的人体姿态估计方法与自上而下的人体姿态估计方法，以HRNet(Sun K,Xiao B,Liu D,et al.Deep high-resolution representation learning for human pose estimation[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2019:5693-5703.)为代表的自上而下的二维人体姿态估计算法和以HigherHRNet(Cheng B,Xiao B,Wang J,et al.HigherHRNet:Scale-AwareRepresentation Learning for Bottom-Up Human Pose Estimation[C]//2020 IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR).IEEE,2020.)为代表的自下而上的二维人体姿态估计方法取得了令人瞩目的效果。