[发明专利]一种基于注意力残差模块和支路融合的人体关键点检测方法

说明书

本发明公开了一种基于注意力残差模块和支路融合的人体关键点检测方法。属于计算机视觉技术领域，包括如下步骤：用特征提取网络对输入图片进行特征处理，得到特征图；将特征图输入区域生成网络得到目标建议框；进行区域池化操作，得到感兴趣区域特征图；再将其输入卷积层中进行特征提取操作得到特征图一；利用支路一、支路二进行特征提取和融合；将两支路的结果叠加，先用反卷积进行分辨率复原再进行两倍的线性插值上采样；将关键点的位置建模为独热二进制掩码进行训练。本发明使得网络输出的信息多样性有所改善，更好地捕捉不同视野，不仅在简单场景下有效解决了检测关键点混乱的问题，其准确性和效率性得到提高，且能够良好的适应复杂场景。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于注意力残差模块和支路融合的人体关键点检测方法。

背景技术

现有技术中，对人体姿态的检测一直被国内外学者广泛关注，也是计算机视觉领域中的一项重要课题，其核心内容是通过图像处理与分析、机器学习、模式识别等技术从图片中检测出人体目标，区分人体部位，进而对人的关节点进行检测；近年来国内外的相关研究依据获取人体描述姿态的原始数据方式的不同，将检测人体姿态的研究方式分为基于穿戴式传感器和基于计算机视觉领域的方法；前者多为接触式的姿态分析系统，有较高的对人体分析能力，但是采集人体运动参数的传感器需要附置在人体或者配件上，存在穿戴不便的问题，给人带来不自然的感觉；而且其成本高、操作难、不适合远程控制，难以得到普及；目前最好的人体检测算法虽然已经得到了很好的效果，但是依然存在一些错误，这些错误会导致检测任务精确度不高；而后者以图像中的光流、人体剪影、轮廓、骨架、关节点等来表示人体姿态，不需要求解人体模型参数，简化了人体姿态的求解；深度学习算法的提出，给人体姿态的检测提供了一种新的思路，一般通过图像的全局特征进行匹配分析，可以有效的避免局部特征方法在复杂姿态和遮挡关系情况下出现的特征匹配歧义性问题，可以保证算法具有较好的鲁棒性。

发明内容

针对上述问题，本发明提供了本发明的目的在于提供一种基于注意力残差模块和支路融合的人体关键点检测方法，解决了现有技术中存在的检测效果不佳、准确性较低的问题。

本发明的技术方案是：一种基于注意力残差模块和支路融合的人体关键点检测方法，其检测方法具体包括以下步骤：

步骤(1.1)，使用特征提取网络对输入图片进行特征处理，得到特征图；将特征图输入区域生成网络得到目标建议框后，结合特征图进行区域池化操作，得到感兴趣区域特征图；

步骤(1.2)，将得到的感兴趣区域特征图输入卷积层中进行特征提取操作，得到的结果记为特征图一；

步骤(1.3)，将特征图一分别输入至支路一、支路二中进行特征处理；

支路一对特征图一进行特征处理的具体步骤如下：

(1.3.1)，在支路一的输入处设计两个一样的注意力残差模块，配合数据旁路连通网路中的前后层，将两个注意力残差模块进行两两连接和像素级的叠加，使用级联方式，使得网络中每一层模块都接受来自前几层模块的特征映射；

(1.3.2)，再经过卷积层降维后输入至全连接层；最后，对其进行形状重塑得到与支路一尺寸一致的卷积层；

支路二对特征图一进行特征处理的操作如下：

将设置在支路二内部的三个空间卷积率不同的空洞卷积层一、空洞卷积层二及空洞卷积层三作为一个组合，通过该组合获得不同的感受野，从而获取多尺度信息；

步骤(1.4)，将特征图一通过支路一和支路二中处理的结果叠加，结果记为特征图二，再对特征图二反卷积后进行上采样，最后通过独热二进制掩码得到关节点信息。

进一步地，在步骤(1.3.1)中，所述注意力残差模块是由空洞卷积的残差小模块配合注意力机制组成：