[发明专利]图像处理方法、装置、设备及存储介质

权利要求书

1.一种图像处理方法，包括：

响应于对待检测图像中目标人物的人体关键点的检测指令，将所述待检测图像输入检测模型，确定所述人体关键点的3D热力分布图和3D位置偏移量，所述检测模型为根据训练集对神经网络训练得到的；

根据所述3D热力分布图确定所述人体关键点的预测3D坐标；

根据所述3D位置偏移量，对所述人体关键点的预测3D坐标进行修正，得到所述人体关键点最终的3D坐标；

根据所述人体关键点最终的3D坐标，识别所述目标人物的姿势或动作，并根据所述目标人物的姿势或动作进行相应的处理。

2.根据权利要求1所述的方法，其中，所述3D热力分布图为所述人体关键点位于三维空间中各个位置点的概率分布，

所述根据所述3D热力分布图确定所述人体关键点的预测3D坐标，包括：

利用softargmax方法确定所述概率分布的极大值，以及所述极大值对应的位置点的3D坐标；

将所述极大值对应的位置点的3D坐标确定为所述人体关键点的3D坐标。

3.根据权利要求1或2所述的方法，其中，所述将所述待检测图像输入检测模型，确定所述人体关键点的3D热力分布图和3D位置偏移量，包括：

提取所述待检测图像中人体关键点特征，得到第一人体关键点特征图和预设分辨率的中间结果特征图；

增大所述第一人体关键点特征图的分辨率，得到指定分辨率的第二人体关键点特征图；

对所述第二人体关键点特征图进行变换处理，得到所述3D热力分布图；

通过比对所述中间结果特征图和所述第二人体关键点特征图，确定所述人体关键点的3D位置偏移量。

4.根据权利要求3所述的方法，其中，所述增大所述第一人体关键点特征图的分辨率，得到指定分辨率的第二人体关键点特征图，包括：

将所述第一人体关键点特征图经过至少一个反卷积层，增大所述第一人体关键点特征图的分辨率，得到第三人体关键点特征图；

经过一个1x1的卷积层对所述第三人体关键点特征图中的人体关键点特征进行特征提取，得到所述第二人体关键点特征图。

5.根据权利要求3所述的方法，其中，所述通过比对所述中间结果特征图和所述第二人体关键点特征图，确定所述人体关键点的3D位置偏移量，包括：

将所述中间结果特征图和所述第二人体关键点特征图连接后输入卷积层，通过所述卷积层比对所述中间结果特征图和所述第二人体关键点特征图，确定所述人体关键点的3D位置偏移量。

6.一种图像处理方法，包括：

将训练集中的样本图像输入神经网络，确定所述样本图像中人物对象的人体关键点的3D热力分布图和3D位置偏移量的预测值；

根据所述人体关键点的3D热力分布图确定所述人体关键点的3D坐标的预测值；

根据所述样本图像的标签数据，以及所述人体关键点的3D坐标的预测值和3D位置偏移量的预测值，计算所述神经网络的损失值；

根据所述神经网络的损失值，更新所述神经网络的参数。

7.根据权利要求6所述的方法，其中，所述根据所述神经网络的损失值，更新所述神经网络的参数之后，还包括：

将训练好的神经网络作为人体关键点的检测模型，利用所述检测模型，确定待检测图像中目标人物的人体关键点的3D坐标；

根据所述目标人物的人体关键点的3D坐标，识别所述目标人物的姿势或动作，并根据所述目标人物的姿势或动作进行相应的处理。

8.根据权利要求6所述的方法，其中，所述将训练集中的样本图像输入神经网络，确定所述样本图像中人物对象的人体关键点的3D热力分布图和3D位置偏移量的预测值之前，还包括：

获取所述训练集，所述训练集包括多条训练数据，每条训练数据包括样本图像及所述样本图像的标签数据，所述样本图像的标签数据包括：所述样本图像中人物对象的人体关键点的3D坐标和3D位置偏移量。