[发明专利]基于双流网络的人体姿态估计方法

权利要求书

1.基于双流网络的人体姿态估计方法，其特征在于，具体包括以下步骤：

步骤1：加载MPII数据集或MS COCO2017数据集，对训练数据采用数据增强的方法强化训练，生成输入图像；

步骤2：使用YOLO v3对输入图像进行人体检测，获得人体检测框，并将人体检测框的高度或宽度剪裁到固定的纵横比，得到剪裁后的RGB人体图像；

步骤3：对剪裁后的RGB人体图像采用MSR算法进行处理并生成MSR图像，MSR算法从RGB图像中去除了低频成分，并保留部分高频成分，消除光照影响；

步骤4：将剪裁后的人体RGB图像与MSR图像输入双流网络进行特征提取，双流网络由姿势细化网络与姿势校正网络组成，RGB图像输入姿势细化网络，MSR图像输入姿势校正网络，生成两组特征图；

步骤5：将双流网络输出的两组特征图通过自适应特征融合算法进行进一步融合，得到特征融合后的特征图；

步骤6：对特征融合后的特征图通过conv1×1卷积层进行通道压缩，生成人体热图，并回归关键点坐标，得到人体关键点；

步骤7：通过opencv连接相对应的人体关键点。

2.根据权利要求1所述的基于双流网络的人体姿态估计方法，其特征在于，所述步骤1中，数据增强包括裁剪、翻转、旋转和缩放；其中，旋转范围为-45°～+45°，缩放范围为0.7～1.35。

3.根据权利要求1所述的基于双流网络的人体姿态估计方法，其特征在于，所述步骤3中，SSR为如下公式(1)：

r(x,y)＝log[S(x,y)]-log[S(x,y)*F(x,y)] (1)；

其中S(x，y)为原图像，r(x，y)为图像反射信息，F(x，y)为环绕函数，取高斯环绕函数，如下公式(2)：

MSR在SSR的基础上，对多个SSR的输出同大、中、小尺度参数在一定权重下相叠加，得到如下公式(3)：

其中k＝3，ωi为权重参数。

4.根据权利要求1所述的基于双流网络的人体姿态估计方法，其特征在于，所述步骤4中，双流网络由姿势细化网络与姿势校正网络的支路网络组成，两个支路网络具有不同的结构：姿势细化网络由四个网络深度相同的残差阶梯网络串联组成；姿势校正网络采用四个网络深度由浅到深的残差阶梯网络串联组成，从多个尺度中提取特征。

5.根据权利要求1所述的基于双流网络的人体姿态估计方法，其特征在于，所述步骤5中，自适应特征融合首先整合来自所有分支的信息，将两组特征图通过元素求和，融合多个分支的结果，如下公式(4)：

F'＝F_MSR+F_RGB (4)；

其中，FMSR是MSR图像通过校正网络生成的特征图，FRGB是RGB图像通过细化网络生成的特征图；将融合结果F’通过全局平均池化来嵌入全局信息，生成c个元素所组成的一维向量S，c是F’的通道数；之后将S通过全连接层降低通道数得到向量Z，通过降低通道数来提高效率，Z有d个元素组成，d为全连接产生的新的通道数，如下公式(5)：

d＝max{L,c/r} (5)；

其中，L表示d的最小值，r表示压缩比例，此处设置L＝32，r＝8；本算法采用跨通道的注意力机制，自适应地选择不同空间尺度的信息；将向量Z再通过全连接层恢复原通道数c得到A与B通道权重向量，生成结果通过Softmax在A、B权重向量间进行归一化处理，得到a、b如下公式(6)和(7)：

其中，i∈(1，2，…，c)，最终的特征图F是通过各组特征图上的注意力权重获得如下公式(8)和公式(9)：

F_i＝a_iF_MSRi+b_iF_RGBi (8)；

a_i+b_i＝1 (9)。