[发明专利]姿态获取方法、关键点坐标定位模型的训练方法和装置

权利要求书

1.一种姿态获取方法，其特征在于，所述方法包括：

获取目标视频；

对于所述目标视频中的第i个图像帧，获取所述第i个图像帧的热度图，所述第i个图像帧的热度图包括所述第i个图像帧中目标对象的各个关键点的热度图，所述热度图中像素点的值用于指示所述像素点为关键点的概率，所述i为正整数；

将所述第i个图像帧的热度图输入至热度图编码模型的至少一个卷积层，得到所述第i个图像帧的热度图对应的一维向量；以及，将所述第i个图像帧的邻近图像帧的热度图输入至所述热度图编码模型的至少一个卷积层，得到所述邻近图像帧的热度图对应的一维向量；

将所述第i个图像帧的热度图对应的一维向量输入至所述热度图编码模型的至少一个全卷积层，得到所述第i个图像帧的热度图编码；以及，将所述邻近图像帧的热度图对应的一维向量输入至所述热度图编码模型的至少一个全卷积层，得到所述邻近图像帧的热度图编码；其中，所述热度图编码用于反映热度图中关键点的相关信息；

将所述第i个图像帧的热度图编码和所述邻近图像帧的热度图编码输入至时间多尺度模型的至少一个卷积层，得到各个卷积层的卷积结果；

将所述各个卷积层的卷积结果输入至所述时间多尺度模型的至少一个全连接层，得到所述第i个图像帧中关键点的三维坐标；

根据所述第i个图像帧中关键点的三维坐标获取所述目标对象在所述第i个图像帧中的目标姿态。

2.根据权利要求1所述的方法，其特征在于，所述获取所述第i个图像帧的热度图，包括：

提取所述目标对象在所述第i个图像帧中所处的目标区域；

将所述目标区域调整至目标尺寸，得到调整后的目标区域；

根据所述调整后的目标区域得到所述第i个图像帧的热度图。

3.一种关键点坐标定位模型的训练方法，其特征在于，所述方法包括：

获取至少一组训练样本，每组训练样本包括样本视频、所述样本视频中样本对象的关键点的真实二维坐标和所述关键点的真实三维坐标；

在所述样本视频中对所述样本对象进行检测跟踪；

获取所述样本视频中各个样本图像帧的热度图，所述样本图像帧的热度图包括所述样本图像帧中所述样本对象的各个关键点的热度图，所述热度图中像素点的像素值用于指示所述像素点为关键点的概率；

采用各个所述样本图像帧的热度图、所述关键点的真实二维坐标和所述关键点的真实三维坐标，对关键点坐标定位模型进行训练，所述关键点坐标定位模型用于根据目标样本图像帧的热度图和所述目标样本图像帧的邻近样本图像帧的热度图，确定所述目标样本图像帧中关键点的预测三维坐标；

当满足停止训练条件时，停止对所述关键点坐标定位模型的训练，得到完成训练的关键点坐标定位模型；

其中，所述采用各个所述样本图像帧的热度图、所述关键点的真实二维坐标和所述关键点的真实三维坐标，对关键点坐标定位模型进行训练，包括：

获取目标损失函数的值，所述目标损失函数的值是根据三维损失函数的值、二维损失函数的值、判别损失函数的值和视角损失函数的值计算得到的；其中，所述三维损失函数的值用于衡量三维空间下，所述关键点的预测三维坐标与所述关键点的真实三维坐标之间的差异程度；所述二维损失函数的值用于衡量二维空间下，所述关键点的预测二维坐标与所述关键点的真实二维坐标之间的差异程度；所述判别损失函数的值用于衡量所述关键点的预测三维坐标对应的姿态的合理性；所述视角损失函数的值用于衡量不同视角下所述关键点的预测三维坐标的差异程度；

通过所述目标损失函数的值，来调整所述关键点坐标定位模型的参数。