[发明专利]姿势估计方法、装置、设备及存储介质

说明书

本申请实施例公开了一种姿势估计方法、装置、电子设备及存储介质。本申请实施例提供的技术方案，通过获取对应行人顶部视角的用于姿势估计的彩色图像和相对齐的深度图像，将彩色图像和相对齐的深度图像输入预先训练的姿势估计模型，通过深度图像预测出各个行人头部、肩部、肘部和腕部的预测关节点及对应的预测连接向量，并根据预测关节点和所述预测连接向量确定各个行人的边框，根据边框从彩色图像中截取出对应的行人框图，并输出对应的嵌入向量。采用上述技术手段，基于行人顶部视角的图像数据，并通过深度图像进行行人姿势估计，可以有效避免行人相互遮挡影响识别效果的问题，保障行人姿势估计的有效性，进而优化行人姿势估计的效果。

技术领域

本申请实施例涉及计算机视觉技术领域，尤其涉及一种姿势估计方法、装置、电子设备及存储介质。

背景技术

目前，姿态估计在机器人视觉、动作跟踪和单照相机定标等很多领域都得到的广泛的应用。在一些场景中，利用人体姿势估计算法并通过摄像头获取的人体图像计算出场景中每个人的肢体骨架，基于图像识别出的肢体骨架来即可进一步确定行人的身份，进而实现行人的跟踪、定位等功能。

但是，现有的基于行人的姿势估计算法应用中，其图像数据大多都是基于正面加斜上方视角进行获取的。这些图像数据中容易出现行人之间相互遮挡的情况，导致算法无法准确的识别到行人的相关特征点，进而影响人体姿势估计的效果，甚至出现行人姿势预测失败的情况。

发明内容

本申请实施例提供一种姿势估计方法、装置、电子设备及存储介质，能够解决行人相互遮挡影响姿势估计算法识别精度的技术问题，优化行人姿势估计的效果。

在第一方面，本申请实施例提供了一种姿势估计方法，包括：

获取用于姿势估计的待检测图像，所述待检测图像包括彩色图像和相对齐的深度图像，所述待检测图像对应行人顶部视角获取；

将所述待检测图像输入预先训练的姿势估计模型，通过所述深度图像预测出各个行人的头部、肩部、肘部和腕部的预测关节点及对应的预测连接向量，并根据所述预测关节点和所述预测连接向量确定各个行人的边框；

根据所述边框从所述彩色图像中截取出对应的行人框图，并输出对应的嵌入向量，所述嵌入向量用于表示对应行人的姿势特征。

进一步的，所述根据所述预测关节点和所述预测连接向量确定各个行人的边框，包括：

将所述深度图像经过三次卷积池化模块输出得到对应的特征图；

以所述特征图作为输入，通过卷积运算预测初始连接向量；

以所述特征图和所述初始连接向量作为输入，通过卷积运算得到预测连接向量；

以所述特征图和所述预测连接向量作为输入，通过卷积运算预测初始关节点；

以所述特征图和所述初始关节点作为输入，通过卷积运算得到预测关节点；

以所述特征图、所述预测连接向量和所述预测关节点作为输入，预测对应行人的边框，所述边框以对应行人头部位置到所述边框四周的相对距离数值表示。

进一步的，所述预测关节点使用正态概率分布特征表示。

进一步的，所述预测连接向量使用向量微分表示。

进一步的，所述姿势估计模型包括深度图像预测网络及彩色图像预测网络，所述深度图像预测网络用于根据所述深度图像预测得到所述边框，所述彩色图像预测网络用于根据所述边框从所述彩色图像中截取得到所述行人框图，并将所述预测关节点及所述预测连接向量映射到所述行人框图中，得到对应所述行人框图的所述嵌入向量。

进一步的，所述深度图像预测网络的训练过程包括：