[发明专利]图像处理方法、装置、设备及存储介质

说明书

本申请公开了图像处理方法、装置、设备及存储介质，涉及计算机技术领域中的计算机视觉、增强现实和深度学习技术。具体实现方案为：通过检测模型确定待检测图像中目标人物的人体关键点的3D热力分布图和3D位置偏移量，基于人体关键点的3D热力分布图确定人体关键点的预测3D坐标，然后根据人体关键点的3D位置偏移量对预测3D坐标进行修正，能够得到精准地人体关键点3D坐标，实现人体关键点的精准检测，基于精准的人体关键点的3D坐标，能够精准地识别出目标人物的姿势或动作，并根据目标人物的姿势或动作进行相应的处理，提高了目标人物姿势或动作的识别精准度，能够准确识别出目标人物的意图，提高与目标人物的交互效果。

技术领域

本申请涉及计算机技术领域中的计算机视觉、增强现实和深度学习技术，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

随着人机交互应用的普及，准确地获取人体关键点成为关键性技术之一，例如在体感游戏、人体行为分析、虚拟人物形象(avatar)驱动等领域，人体的3D人体关键点准确获取甚为重要。

现有技术中，为了部署简单，通常采用单个普通摄像头获取彩色图像数据，基于深度学习模型检测获得人体的3D人体关键点，具体是通过识别RGB图像的特征来识别人体的3D人体关键点，但是现有这种识别方式往往误差较大，识别不够准确，影响基于3D人体关键点识别人体姿势或动作的准确度，导致对用户做出的姿势或动作的意图识别不准确，影响与用户的人机交互的效果。

发明内容

本申请提供了一种图像处理方法、装置、设备及存储介质。

根据本申请的一方面，提供了一种图像处理方法，包括：响应于对待检测图像中目标人物的人体关键点的检测指令，将所述待检测图像输入检测模型，确定所述人体关键点的3D热力分布图和3D位置偏移量，所述检测模型为根据训练集对神经网络训练得到的；根据所述3D热力分布图确定所述人体关键点的预测3D坐标；根据所述3D位置偏移量，对所述人体关键点的预测3D坐标进行修正，得到所述人体关键点最终的3D坐标；根据所述人体关键点最终的3D坐标，识别所述目标人物的姿势或动作，并根据所述目标人物的姿势或动作进行相应的处理。

根据本申请的另一方面，提供了一种图像处理方法，包括：将训练集中的样本图像输入神经网络，确定所述样本图像中人物对象的人体关键点的3D热力分布图和3D位置偏移量的预测值；根据所述人体关键点的3D热力分布图确定所述人体关键点的3D坐标的预测值；根据所述样本图像的标签数据，以及所述人体关键点的3D坐标的预测值和3D位置偏移量的预测值，计算所述神经网络的损失值；根据所述神经网络的损失值，更新所述神经网络的参数。

根据本申请的另一方面，提供了一种图像处理装置，包括：检测模型模块，用于响应于对待检测图像中目标人物的人体关键点的检测指令，将所述待检测图像输入检测模型，确定所述人体关键点的3D热力分布图和3D位置偏移量，所述检测模型为根据训练集对神经网络训练得到的；3D坐标预测模块，用于根据所述3D热力分布图确定所述人体关键点的预测3D坐标；3D坐标修正模块，用于根据所述3D位置偏移量，对所述人体关键点的预测3D坐标进行修正，得到所述人体关键点最终的3D坐标；识别应用模块，用于根据所述人体关键点最终的3D坐标，识别所述目标人物的姿势或动作，并根据所述目标人物的姿势或动作进行相应的处理。

根据本申请的另一方面，提供了一种图像处理装置，包括：神经网络模块，用于将训练集中的样本图像输入所述神经网络，确定所述样本图像中人物对象的人体关键点的3D热力分布图和3D位置偏移量的预测值；3D坐标确定模块，用于根据所述人体关键点的3D热力分布图确定所述人体关键点的3D坐标的预测值；损失确定模块，用于根据所述样本图像的标签数据，以及所述人体关键点的3D坐标的预测值和3D位置偏移量的预测值，计算所述神经网络的损失值；参数更新模块，用于根据所述神经网络的损失值，更新所述神经网络的参数。