[发明专利]一种基于注意力残差模块和支路融合的人体关键点检测方法

权利要求书

1.一种基于注意力残差模块和支路融合的人体关键点检测方法，其特征在于，其检测方法具体包括以下步骤：

步骤(1.1)，使用特征提取网络对输入图片进行特征处理，得到特征图；将特征图输入区域生成网络得到目标建议框后，结合特征图进行区域池化操作，得到感兴趣区域特征图；

步骤(1.2)，将得到的感兴趣区域特征图输入卷积层中进行特征提取操作，得到的结果记为特征图一；

步骤(1.3)，将特征图一分别输入至支路一、支路二中进行特征处理；

所述支路一对特征图一进行特征处理的具体步骤如下：

(1.3.1)，在支路一的输入处设计两个一样的注意力残差模块，配合数据旁路连通网路中的前后层，将两个注意力残差模块进行两两连接和像素级的叠加，使用级联方式，使得网络中每一层模块都接受来自前几层模块的特征映射；

(1.3.2)，经过卷积层降维后输入至全连接层；最后，对其进行形状重塑得到与支路一尺寸一致的卷积层；

所述支路二对特征图一进行特征处理的操作如下：

将设置在支路二内部的三个空间卷积率不同的空洞卷积层一、空洞卷积层二及空洞卷积层三作为一个组合，通过该组合获得不同的感受野，从而获取多尺度信息；

步骤(1.4)，将特征图一通过支路一和支路二中处理的结果叠加，结果记为特征图二，再对特征图二反卷积后进行上采样，最后通过独热二进制掩码得到关节点信息。

2.根据权利要求1所述的一种基于注意力残差模块和支路融合的人体关键点检测方法，其特征在于，在步骤(1.3.1)中，所述注意力残差模块是由空洞卷积的残差小模块配合注意力机制组成：

其中，所述的空洞卷积的残差小模块：是由降维卷积层、空洞卷积层及升维卷积层三个卷积层组成，通过上述三个卷积层的卷积运算得到卷积权重，设卷积权重为V；

其注意力机制具体步骤：将V通过一个卷积层进行卷积运算后，再依次进行全局加权池化、点乘卷积及S型生长曲线，网络即可得到空间注意力权重；最后，空间注意力权重与V加权，以实现通道注意力的输出，得到空间注意力加权特征。

3.根据权利要求1-2任一 所述的一种基于注意力残差模块和支路融合的人体关键点检测方法，其特征在于，将两个支路的输出参数叠加得到特征图二；对特征图二使用反积卷层进行分辨率复原，再由两倍的线性插值进行上采样，生成高分辨率输出，最后将人体的关节点位置建模为独热二进制掩码，从而得到关节点信息。