[发明专利]一种抗遮挡的服饰关键点检测方法

说明书

本发明提出了一种抗遮挡的服饰关键点检测方法，包括金字塔网络的结构设计，空洞卷积模块的应用，和网络框架的训练与测试。本发明突破了手动设计特征与规则的限制，利用金字塔网络中的特征提取模块自动学习融合特征和规则，并且，应用空洞卷积模块进一步提高模型在服饰关键点检测上的稳定性。本发明检测的服饰关键点能很好的适应背景环境复杂以及遮挡的情况，显式的解决了困难关键点的检测问题，同时在训练与测试的复杂度和时间消耗上，有进一步优化。

技术领域

本发明属于服饰关键点检测的技术领域，具体涉及一种抗遮挡的服饰关键点检测方法。

背景技术

关键点定位是一类常见而有用的任务，在某种意义上可以理解为一种特征工程。例如，人脸关键点定位，可用于人脸识别、表情识别；人体骨骼关键点定位，可用于姿态估计；手部关键点定位，可用于手势识别等。近年来，随着电子商务的普及，服装等商品的搭配、推荐等受到了广泛的关注。服饰关键点检测是服饰识别和分析领域中的关键一步，它是诸如自动服饰识别、服饰检索、服饰推荐以及智能穿搭应用等其它服饰相关问题的前提和突破口。但是在实际应用中，服饰关键点受尺度和形变的影响较大，例如拍摄角度、模特姿势和摆放位置等。

目前关于服饰关键点检测的方法较少，传统方法一般通过服饰图片提取形状、颜色、边缘、纹理等手工底层特征，对此分别建立形状模型、纹理模型来训练样本得到关键点的回归结果。近些年来，深度学习方法由于其自动学习及持续学习能力，已被成功应用到了图像识别与分析、语音识别和自然语言处理等很多领域，且在这些方面都带来了很显著的改善。当前基于深度学习的方法一般通过提取服饰信息区域来提取特征，例如首先检测服饰边界框，其次进行关键点定位。因此，本发明针对改良后的金字塔深度模型进行了服饰关键点检测的研究。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种抗遮挡的服饰关键点检测方法，本发明通过金字塔模型的融合机制，在背景复杂、形变较大的服饰中位置更为精确，并具有更强的鲁棒性，在模型计算机时间消耗上有较大的优化，更加符合实际应用的标准。

为了达到上述目的，本发明采用以下技术方案：

一种抗遮挡的服饰关键点检测方法，包括下述步骤：

构建改良后的金字塔深度模型，所述改良后的金字塔深度模型包括特征提取网络以及难点挖掘网络，

所述特征提取网络包括五个模块的卷积神经网络，每一模块都由多个子模块组成，所述子模块结构由卷积模板为3×3的卷积层、批归一化层、激活函数为Leaky Relu的激活层、卷积模板为3×3的卷积层、批归一化层、激活函数为Leaky Relu的激活层构成，其输出的特征图和输入的特征图逐元素相加得到下一个模块的输入；

所述难点挖掘网络为两个模块的卷积神经网络，每一模块均依次由卷积模板为1×1的卷积层、批归一化层、激活函数为Leaky Relu的激活层、卷积模板为3×3的反卷积层、批归一化层构成，激活函数为Leaky Relu的激活层、卷积模板为1×1的卷积层、批归一化层构成，其输出的特征图和输入在通道上合并得到下一个模块的输入；

对改良后的金字塔深度模型进行训练，步骤如下：

将服饰图像和对应坐标标签作为特征提取网络的输入，计算特征提取网络的损失函数并利用优化器对网络参数进行更新，得到特征提取网络参数；

将得到的特征提取网络第四模块的输出作为难点挖掘网络的输入，计算难点挖掘网络损失函数并利用优化器对网络参数进行更新，得到难点挖掘网络参数；

判别迭代结束条件，最后一次迭代过程求得的特征提取和难点挖掘网络的参数即为最终的网络参数；

将服饰图像输入训练好的改良后的金字塔深度模型的特征提取网络中，通过关键点提取和难点挖掘技术，输出最终的服饰关键点。