[发明专利]一种基于多分辨率特征融合网络的人体姿态估计方法

权利要求书

1.一种基于多分辨率特征融合网络的人体姿态估计方法，其特征在于，所述方法包括以下步骤：

获取待测图像并输入人体检测网络模型中，获得所述待测图像中每个人体实例的建议框；

分别将每个所述建议框输入训练好的多分辨率特征融合网络模型中，得到对应的单人姿态估计结果；

其中，所述多分辨率特征融合网络模型具有构成并行网络结构的多个特征提取网络分支，分别用以采集建议框中不同分辨率的图像特征，且每个特征提取网络分支中嵌入一个或多个多感受野融合模块；基于将不同分辨率的图像特征进行融合后的特征进行姿态估计，获得单人姿态估计结果；

每个所述多感受野融合模块中包括并列设置的若干个不同尺寸的卷积核，第一层卷积核对图像特征进行卷积操作，提取第一层感受野特征；下一层卷积核分别获取所述图像特征以及上一层卷积核输出的感受野特征并进行卷积操作；将各层卷积核输出的感受野特征进行融合。

2.如权利要求1所述的基于多分辨率特征融合网络的人体姿态估计方法，其特征在于，所述多感受野融合模块包括四层卷积核，分别为1×1、3×3、5×5和7×7尺寸的卷积核，分别用以提取对应尺寸的感受野特征。

3.如权利要求1或2所述的基于多分辨率特征融合网络的人体姿态估计方法，其特征在于，所述多感受野融合模块中还包括一个前置的1×1卷积核，用于获取输入的图像特征并调整其通道数，输出通道数调整后的图像特征至各层卷积核。

4.如权利要求1或2所述的基于多分辨率特征融合网络的人体姿态估计方法，其特征在于，所述多感受野融合模块中还包括一个后置的1×1卷积核，用以获取各层卷积核输出的感受野特征并恢复至原来的通道数。

5.如权利要求1所述的基于多分辨率特征融合网络的人体姿态估计方法，其特征在于，所述多分辨率特征融合网络模型的多个特征提取网络分支中，

第一层特征提取网络分支获取每个人体实例的建议框，从中提取并维持具有预设分辨率的图像特征；

下一层特征提取网络分支对上一层特征提取网络分支维持的图像特征进行下采样，产生的图像特征经多感受野融合后，通过上采样还原为具有所述预设分辨率的图像特征，并与第一层特征提取网络分支维持的图像特征进行融合。

6.如权利要求5所述的基于多分辨率特征融合网络的人体姿态估计方法，其特征在于，所述第一层特征提取网络分支包括卷积模块，其他各层特征提取网络分支包括卷积模块与下采样模块；

其中，卷积模块由卷积层、BN层及激活函数组成；下采样模块由跨步卷积层、BN层及激活函数组成。

7.如权利要求1所述的基于多分辨率特征融合网络的人体姿态估计方法，其特征在于，所述多分辨率特征融合网络模型的训练过程为：

获取训练图像样本；

将训练图像样本输入至人体检测网络模型中，得到图像中每个人体实例的建议框；

将每个人体实例的建议框裁剪、缩放后输入至多分辨率特征融合网络模型中进行单人姿态估计；

根据单人姿态估计的预测结果与训练图像样本的标签真值计算目标损失函数，基于所述目标损失函数对多分辨率特征融合网络模型进行迭代训练，得到训练好的多分辨率特征融合网络模型。

8.如权利要求7所述的基于多分辨率特征融合网络的人体姿态估计方法，其特征在于，所述目标损失函数为最小均方误差函数。

9.如权利要求1所述的基于多分辨率特征融合网络的人体姿态估计方法，其特征在于，所述人体检测网络模型采用Faster R-CNN网络模型。

10.如权利要求1所述的基于多分辨率特征融合网络的人体姿态估计方法，其特征在于，所述多分辨率特征融合网络模型的训练与测试在深度学习的Pytorch框架下执行完成。