[发明专利]结合空洞卷积与级联金字塔网络的服饰关键点定位方法

说明书

本发明涉及一种结合空洞卷积与级联金字塔网络的服饰关键点定位方法，包含三个部分：ResNet‑101、GlobalNet和RefineNet，通过ResNet‑101进行图像特征提取；GlobalNet进行简单的关键点定位；RefineNet整合来自GlobalNet的特征表征，识别余下的困难关键点。

技术领域

本发明涉及时尚领域、图像处理领域、关键点定位领域、深度学习领域，将级联金字塔网络(Cascade Pyramid Network，CPN)与空洞卷积相结合进行改进，实现服饰关键点定位任务。

背景技术

近些年来，随着电商平台和时尚行业的快速发展，对于服饰分析的算法需求越来越迫切。服饰关键点定位能够有效提升服饰部位对齐，加速物体属性识别，使图像可自动分类归属，已引起社会广泛关注。目前应用于人体关键点检测算法已经取得长足发展，但在与时尚行业相互融合过程中，由于服饰在类别、比例和外观上的多变性，服饰关键点定位算法仍然面临重大挑战。对于人体关键点定位，大多数方法都是直接回归出人体关节点的坐标，但是由于人体运动的灵活性以及回归模型可扩展性较差，此类方法的效果都不太理想。

随着深度学习技术的发展，其在图像分类、识别、以及关键点检测上已得到广泛应用， 2016年Wei等提出的CPM(Convolutional Pose Machines，CPM)网络通过顺序化卷积方式进行空间信息以及纹理信息的表达，实现鲁棒性较强的关键点定位算法。同年Alejandro等提出Hourglass(Stack Hourglass Networks)网络，通过引入多模块全卷积神经网络(Convolutional Neural Network，CNN)来解决单人关键点定位，每个CNN模块捕捉不同尺度图片的特征，以此来发现人体空间关系，推断人体的关节点位置。随后，多人关键点检测算法逐渐出现，效果较好的为自顶向下的算法，即先检测出单人，再定位每个人的关键点。2017年Papandreou等提出的G-RMI算法，首先利用FasterR-CNN检测图中的多个人，而后使用深度残差网络(Deep Residual Networks，ResNet)精确定位关键点；同年何恺明在 R-CNN、Fast R-CNN和Faster R-CNN基础上提出MASK R-CNN改进算法，在实例分割、边界框检测和人体关键点定位等多个任务中都取得优于单一模型的效果；随后RMPE算法为克服由单人检测框差异而造成关键点定位误差的问题，利用金字塔结构的单目标检测算法 SSD(Single ShotDetector，SSD)检测单个人，再使用Hourglass网络进行单人姿态的关键点检测。Chen等人为解决较难关键点检测提出级联金字塔结构网络(Cascaded PyramidNetwork，CPN)，首先通过MASK R-CNN的目标检测结构发现图中的多个人，之后通过GlobalNet(Global Pyramid Network)和RefineNet(Refined Pyramid Network)的级联网络结构实现对每个人的较难关键点检测，夺得2017年人体关键点检测挑战赛冠军。CPN网络通过区分简单和困难的关键点使定位的精确度大幅提高，但是网络依然没有很好地将图像底层细节信息用于关键点定位，因此需要进一步改进。

发明内容

本发明的目的是提供一种可以更好地将图像底层细节信息用于关键点定位的服饰关键点定位方法：ICPN(Improved Cascaded Pyramid Network，ICPN)。ICPN算法针对关键点定位任务中不同层级的语义信息融合问题，利用空洞卷积，在不降低高层特征图感受野的情况下，提高特征图的空间分辨率，从而获取更多的图像细节信息特征，进一步提升关键点检测精度，通过多种数据增强操作提高算法的鲁棒性，并通过相应的特征裁剪避免空洞卷积带来的计算复杂度变大问题。技术方案如下：

一种结合空洞卷积与级联金字塔网络的服饰关键点定位方法，包含三个部分：ResNet-101、GlobalNet和RefineNet，通过ResNet-101进行图像特征提取；GlobalNet进行简单的关键点定位；RefineNet整合来自GlobalNet的特征表征，识别余下的困难关键点，包括：