[发明专利]一种基于深度和彩色图像特征融合的人体姿态估计方法

说明书

一种基于深度和彩色图像特征融合的人体姿态估计方法，该方法采用基于提升技术的分布式融合方法，解决了基于深度和彩色图像的人体姿态融合估计问题。通过融合深度和彩色图像信息，有效地减少了对手持物的误识别，同时提高了对光照变化的鲁棒性。本发明提供一种基于深度和彩色图像特征融合的人体姿态估计方法，有效地提高了人体姿态估计的精确度和鲁棒性。

技术领域

本发明属于人体姿态估计领域，尤其是一种基于深度和彩色图像特征融合的人体姿态估计方法。

背景技术

人体姿态估计在人机交互、行为识别、视频监视以及体育游戏等领域中有着重要的应用价值。特别的，随着人工智能、3D视觉等技术的发展，人机姿态估计技术被应用于工业、农业生产等领域，例如，用于保障人机协作过程中人的安全问题，用于记录和分析专业技术人员的技能等。

3D视觉传感器的出现为人体姿态估计提供了重要的解决途径，即利用深度信息可快速进行前景和背景分割，进而应用随机森林方法对人体骨架关节点进行准确提取，以输出3D人体姿态信息。由于该方法具有技术成熟、计算量小等特点，已成功应用于在体育、游戏、娱乐、教育等领域。然而，随着工业、农业生产等领域需求的增加，现有的人体姿态估计技术已不能满足工农业生产的要求。工农业生产的最主要特征为，人将不可避免地使用生产工具，人与机器人将在同一空间进行作业。这样，仅依赖于深度图像很难区别人体与手持工具，将可能导致手持工具误认为是人体的一部分。另一方面，基于彩色图像的人体姿态估计方法主要是使用深度学习的方法，利用深度神经网络计算出人体关节点，具有精度较高，稳定性好等特点。然而，彩色图像容易受光照变化的影响，使得在过度曝光或光照不足的情况下人体关节点识别误差增大甚至无法识别。同时，由于深度学习算法往往计算量很大，基于彩色图像的人体姿态估计相比基于深度图像的要存在更大的延时，输出频率更低。目前，还没有技术能够鲁棒、实时地融合深度和彩色图像特征信息解决复杂作业场景下的人体姿态估计问题。

发明内容

为了克服基于深度图像的人体姿态估计方法对手持工具等鲁棒性差以及基于彩色图像的人体姿态估计方法易受光照变化影响的缺点，本发明提供一种基于深度和彩色图像特征融合的人体姿态估计方法，采用基于提升技术的分布式状态融合，有效地提高了人体姿态估计的精确度和鲁棒性。

本发明解决其技术问题所采用的技术方案是：

一种基于深度和彩色图像特征融合的人体姿态估计方法，所述方法包括以下步骤：

步骤1)分别建立人体各关节点运动学模型，以及基于深度图像和彩色图像的量测模型，确定各自的过程噪声协方差Q_i,k、量测噪声协方差和等参数，以及人体关节点的初始状态设置深度图像的姿态量测输出频率是彩色图像的2倍；

步骤2)根据人体各关节点的运动学模型，分别计算k时刻基于深度图像信息的人体关节点i的状态预测值及其协方差从深度图像中读取人体各关节点位置信息，分别计算人体关节点i的状态估计值及其协方差

步骤3)判断是否有基于彩色图像的人体姿态输出，若有人体姿态信息输出，则分别计算彩色图像下的状态估计值及其协方差接着计算其状态预测值及其协方差否则，计算其状态预测值及其协方差

步骤4)融合基于深度和彩色图像的人体各节点状态估计结果，计算k时刻人体各关节点的融合状态估计值及其协方差

重复执行步骤2)-4)完成对人体各关节点的状态估计，得出基于深度和彩色图像特征融合的人体姿态估计。

进一步，在所述步骤1)中，所述的i表示人体各关节点的标号，人体各关节点包括头关节、胸椎关节、肩关节、肘关节、腕关节、骶椎关节、髋关节、膝关节、踝关节，共15个人体关节点，n＝15为需要估计的人体关节点数量。

在所述步骤1)中，所述的和为基于深度图像的人体姿态估计初始状态，和为基于彩色图像的人体姿态估计初始状态。