[发明专利]基于多模态信息融合的人体姿态估计方法

说明书

本发明公开了一种基于多模态信息融合的人体姿态估计方法，所述方法运用深度(Depth)信息进行图像输入前分割处理和作为多模态输入，以MobileNetV1作为主干网络，通过计算关键点置信度图和亲和场的方式生成人体骨骼图，大大降低了关键点检测难度从而提高检测准确率；并提出自适应权重的方法，对于不同检测任务的损失函数，赋予不同的权重，以快速迭代降低loss。经过实验测试，在专用数据集和coco数据集上，在同样量级的检测速度(FPS大于25)上，本发明所提出的算法AP值达到了51.1％，实现了快速准确的检测目的。

技术领域

本发明属于计算机视觉领域，涉及一种基于多模态信息融合的人体姿态估计方法。

背景技术

人体姿势估计旨在通过算法定位图像或视频中人体部位，构建人体骨骼图对人体姿态进行判断。其广泛运用于人机交互、游戏、虚拟现实、视频监视、运动分析和医疗援助，已逐渐成为计算机视觉领域的热门研究主题。为了解决人体姿势估计的问题，计算机视觉先驱已经提出了许多方法。早期都使用人工设计特征，这些人工设计的特征，例如HOG(定向梯度直方图)，不足以准确的确定身体部位位置。相比之下，基于深度学习的方法能够提取更多元的数据，这种方法的效果非常好，并且可以完全替代早期的非深度学习技术。在目前的人体姿态估计领域，运用较广的多是实时检测和估计的视频领域，为了满足实时性的要求，需要更快的网络推理速度。而且应用场景多是比较灵活的户外场景，台式PC存在不容易部署的问题，所以人体姿态估计算法在边缘设备上进行推理的情况比较多，这对算法的浮点计算量提出了更苛刻的要求。

发明内容

本发明针对运用深度学习多人人体姿态估计的自底向上(bottom-up)方法，在快速检测中准确率差的缺点，提供了一种基于多模态信息融合的人体姿态估计方法。该方法能在边缘设备上应用，并且具有较高的准确率，推理速度能达到实时性要求。

本发明的目的是通过以下技术方案实现的：

一种基于多模态信息融合的人体姿态估计方法，包括如下步骤：

步骤一、利用RGBD相机采集RGB和Depth图像对，分别对RGB和Depth图像做背景分割操作；

步骤二、令RGB图像某像素点坐标为X_R(i,j)，对应的深度图像素点坐标为X_D(i,j)，根据深度图的分辨率生成一个掩码图，该掩码图的对应像素坐标为X_M(i,j)，其中：i代表像素坐标系中，任意一点的x值，j代表像素坐标系中该点的y值，X_R(i,j)值为RGB三通道值，X_D(i,j)值为单通道深度值，X_M(i,j)值为掩码图(只有0、1)单通道值；

步骤三、根据场景复杂度设计一个可控阈值δ，对掩码图进行如下二值化操作：

步骤四、将二值化的掩码图分别与RGB和Depth图像进行点乘，抑制掉RGB和Depth图像中大部分的背景信息，掩膜操作公式为：

X_R(i,j)＝X_M(i,j)·X_R(i,j)；

X_D(i,j)＝X_M(i,j)·X_D(i,j)；

步骤五、将步骤四分割完背景信息的RGB和Depth图像作为多模态网络的输入，通过主干网络生成特征图后把特征输入到第一阶段，将第一阶段的输出和原始图像特征图F作为第二阶段的输入，并以此循环，生成RGB特征图和Depth特征图，其中：主干网络为轻量级的MobileNetV1系列结构，每个阶段有两个分支；第一个阶段中的一个分支使用卷积神经网络提取关键点置信图集合S¹＝ρ¹(F)，第二个分支预测关键点亲和场两个分支都是一轮迭代的预测体系结构；