[发明专利]一种人体姿态估计方法、装置

说明书

本申请公开了一种人体姿态估计方法、装置，用于改善现有技术中人体姿态估计方法效果差的技术问题。方法包括：将待处理图像输入预先训练的包含非局部网络模块和至少一级高分辨率网络模块的神经网络模型；基于非局部网络模块提取待处理图像的特征信息生成待处理图像的特征图；基于至少一级高分辨率网络模块对特征图进行计算，获得人体姿态估计结果。本申请基于非局部网络模块可以实现对人体关节点相对位置关系的更精细的描述，解决复杂场景下人体姿态估计难的问题，同时结合高分辨率网络模块保证整个模型传递过程中均保持有高分辨率的表示，进而减少图像信息在传递过程中的损失，进而从整体上提高模型预测精准性。

技术领域

本申请涉及图像处理领域，尤其涉及一种人体姿态估计方法、装置。

背景技术

电子设备对人体的姿态进行准确的识别是电子设备与用户成功交互的前提。例如，对于服务型机器人来说，准确识别用户的吃饭动作是其能够执行为用户收拾餐桌这一动作的前提；又如，对于(virtual reality，VR)游戏来说，对用户动作捕捉并给出对应响应，是VR设备给用户以沉浸感的关键。而人体的动作一般由一系列的人体姿态组成，因此，准确识别人体姿态在识别人体动作方面具有重要的意义。

近年来，研究人员提出了多种人体姿态估计方法，目前主流的人体姿态估计方法主要分为自顶向下和自底向上两种主流方法。自顶向下：先检测出每个人体，然后再检测每个人体的关节点进行姿态估计；自底向上：先检测出所有的关节点，然后再判断每一个关节点属于哪一个人。但是，这两种方法都容易受到人体部位遮挡、背景混淆等因素的影响，导致姿态估计效果差。

发明内容

本申请提供一种人体姿态估计方法、装置，用于改善现有技术中人体姿态估计方法效果差的技术问题。

第一方面，本申请实施例提供一种人体姿态估计方法，包括：将待处理图像输入预先训练的神经网络模型，其中，所述待处理图像中包括人体，所述神经网络模型包括非局部网络模块和至少一级高分辨率网络模块；基于所述非局部网络模块提取所述待处理图像的特征信息，生成所述待处理图像的特征图，所述特征信息包括所述人体所在区域的每个像素与所述人体所在区域的其他像素的相关信息；基于所述至少一级高分辨率网络模块对所述特征图进行计算，获得所述待处理图像中所述人体的姿态估计结果。

本申请实施例通过在神经网络模型中插入非局部网络模块，使得神经网络模型在提取图像的特征信息时，可以基于非局部网络模块将每个人体上的像素点与该像素点所在人体范围内的其它所有像素进行关联，计算出该像素点与该像素点所在人体范围内的其它所有像素的相关信息，实现神经网络模型对人体关节点相对位置关系的更精细的描述，进而高层网络模块在对特征图进行计算预测关键点位置时，就会考虑到不同像素之间的位置相关性，可以提高人体姿态估计的精准性，解决密集人群中人体部位遮挡、背景混淆等复杂场景下人体姿态估计难的问题。另外，神经网络模型的高层网络模块使用高分辨率网络模块构建，能够保证图像在高分辨率网络模块的整个计算过程中均保持有高分辨率的表示，进而有效减少图像在模型传递过程中的信息损失，进一步提高人体姿态估计的精准性。

一种可能的实施方式中，所述神经网络模型还包括至少一个m×m卷积模块，m为奇数；所述非局部网络模块设置在所述至少一个卷积模块之后，所述至少一级高分辨率网络模块之前；在基于所述非局部网络模块提取所述待处理图像的特征信息之前，还包括：基于所述至少一个卷积模块对所述待处理图像中所述人体所在区域上的若干个m×m大小的区域进行初步特征提取，获得所述待处理图像的初始特征信息，并基于所述初始特征信息生成所述待处理图像的初始特征图；则基于所述非局部网络模块提取所述待处理图像的特征信息，包括：将所述初始特征图输入所述非局部网络模块，计算所述待处理图像中所述人体所在区域的每个像素与所述人体所在区域的其他像素的相关信息，基于所述初始特征信息以及所述相关信息生成所述待处理图像的特征图。