[发明专利]多人姿态估计方法、装置和电子设备

说明书

本申请提供了一种多人姿态估计方法、装置和电子设备，该方法包括：构建神经网络模型，其包括目标检测模块、滤波器控制器和关键点检测模块；将待处理图片输入目标检测模块生成特征图；将特征图输入滤波器控制器，输出多组滤波器权重参数；将特征图和多组滤波器权重参数输入关键点检测模块，输出多张预测热图，以预测热图中关键点预测坐标作为关键点坐标。本申请相比于自上而下或自下而上的方法，不需要抠输入图或者特征图的操作，端到端可训练人体姿态估计器，从而能够获得更好的精度和速度，而且由于本申请实施例提供的方法适用于无论图像中实例数量多少，并且总的推理时间也较快，同时由于计算量较小，也可部署在移动设备上，增加了适用性。

技术领域

本申请的实施例涉及图像处理技术领域，尤其涉及一种多人姿态估计方法、装置和电子设备。

背景技术

目前多人姿态估计通常采用自下而上或自上而下的方式。自下而上的方式存在以下缺点：感兴趣区域的计算是单独进行前向传播的，因此卷积计算不能共享，推理时间严重依赖于图像中的实例数量；感兴趣区域通常是从一个独立的人体检测器中获得的，因此不是端到端可训练的，此外独立人体检测器的使用会导致明显更长的端到端推断时间；基于感兴趣区域的方法依赖于感兴趣区域的定位质量。自上而下的方式中分组关键点的过程通常是启发式的，可能涉及许多超参数，这使得该方式变得复杂。

发明内容

为解决上述技术问题，本申请的实施例提供了一种多人姿态估计方法、装置和电子设备。

在本申请的第一方面，提供了一种多人姿态估计方法，包括：

构建神经网络模型，所述神经网络模型包括目标检测模块、滤波器控制器和关键点检测模块；

将所述待处理图片输入所述目标检测模块，生成特征图，所述特征图包括多个人体实例，每个所述人体实例均包括多个关键点，所述关键点用于表征人体姿态；

将所述特征图输入所述滤波器控制器，输出多组滤波器权重参数，所述滤波器权重参数的组数和所述特征图中人体实例的个数相同，且每组所述滤波器权重参数对应于所述特征图中一个人体实例；

将所述特征图和多组所述滤波器权重参数输入所述关键点检测模块，输出多张所述预测热图，以所述预测热图中关键点预测坐标作为关键点坐标，所述预测热图的数量与所述滤波器权重参数的组数相同，每张所述预测热图均包括所述特征图中一个人体实例中关键点预测坐标。

在一种可能的实现方式中，所述关键点检测模块的数学模型为：

其中，H为预测热图，H∈R^H×W×K，f为预测热图和特征图之间的映射关系，θ_i为滤波器权重参数，F为特征图，F∈R^H×W×M，W为图片宽度，H为图片高度，M为图像通道数，K为每个人体实例中关键点数量。

在一种可能的实现方式中，所述神经网络模型还包括关键点修正模块；

所述将所述特征图和多组所述滤波器权重参数输入关键点检测模块，输出多张所述预测热图之后，还包括：

将所述特征图和所述待处理图片中人体实例关键点真实坐标输入所述关键点修正模块，输出修正参数，所述修正参数为所述关键点预测坐标和关键点真实坐标之间的偏移量，并根据所述修正参数对所述关键点预测坐标进行修正。

在一种可能的实现方式中，所述神经网络模型的构建方法包括：

获取数据集，所述数据集中包括多张所述待处理图片和所述待处理图片中人体实例关键点坐标，所述待处理图片中包括多个人体实例；

根据所述数据集训练所述目标检测模块，得到所述特征图；

根据所述特征图训练所述滤波器控制器，得到多组所述滤波器权重参数；