[发明专利]一种抗遮挡的服饰关键点检测方法

权利要求书

1.一种抗遮挡的服饰关键点检测方法，其特征在于，包括下述步骤：

构建改良后的金字塔深度模型，所述改良后的金字塔深度模型包括特征提取网络以及难点挖掘网络，

所述特征提取网络包括五个模块的卷积神经网络，每一模块都由一个或多个子模块组成，所述子模块结构由卷积模板为3×3的卷积层、批归一化层、激活函数为Leaky Relu的激活层、卷积模板为3×3的卷积层、批归一化层、激活函数为Leaky Relu的激活层构成，其输出的特征图和输入的特征图逐元素相加得到下一个模块的输入；

所述难点挖掘网络为两个模块的卷积神经网络，每一模块均依次由卷积模板为1×1的卷积层、批归一化层、激活函数为Leaky Relu的激活层、卷积模板为3×3的反卷积层、批归一化层构成，其输出的特征图和输入在通道上合并得到下一个模块的输入；

对改良后的金字塔深度模型进行训练，步骤如下：

将服饰图像和对应坐标标签作为特征提取网络的输入，计算特征提取网络的损失函数并利用优化器对网络参数进行更新，得到特征提取网络参数；

所述特征提取网络损失函数设计如下：

其中，H和W分别为特征提取网络预测特征图的高度和宽度，‖·‖₂为计算二范数，I_p是特征提取网络预测的关键点融合热力图，I_l是输入模型的关键点标签图；

将得到的特征提取网络第四模块的输出作为难点挖掘网络的输入，计算难点挖掘网络损失函数并利用优化器对网络参数进行更新，得到难点挖掘网络参数；

所述难点挖掘网络损失函数建立如下：

其中，N是通过损失函数排序选取的难关键点，N的计算公式如下；

其中表示每个关键点所对应的损失函数，其建立如下：

其中，H和W分别为难点挖掘网络预测特征图的高度和宽度，‖·‖₂为计算二范数，I_p是难点挖掘网络预测的关键点融合热力图，I_l是输入模型的关键点标签图；

判别迭代结束条件，最后一次迭代过程求得的特征提取和难点挖掘网络的参数即为最终的网络参数；

将服饰图像输入训练好的改良后的金字塔深度模型的特征提取网络中，通过关键点提取和难点挖掘技术，输出最终的服饰关键点。

2.根据权利要求1所述抗遮挡的服饰关键点检测方法，其特征在于，在特征提取网络中，若子模块之间涉及到降采样时，在对应维度补0之后逐元素相加。

3.根据权利要求1所述抗遮挡的服饰关键点检测方法，其特征在于，所述特征提取网络的具体结构为：

第一模块：卷积模板为7×7的卷积层、批归一化层、激活函数为Leaky Relu的激活层、池化模板为3×3的池化层，第一模块的输出是输入大小的的64个特征图；

第二模块：三个子模块构成，第二模块的输出是输入大小的的64个特征图；

第三模块：四个子模块构成，输出是与输入大小的的128个特征图；

第四模块：六个子模块构成，其中子模块中的卷积层换为空洞卷积层，保证特征图的大小不变，同时增大卷积的感受野，输出是与输入大小相同的256个特征图；

第五模块：结构与第二模块相同，卷积层换为空洞卷积层，输出是与输入大小相同的512个特征图；

整体网络结构最终输出原图大小的I个特征图，其中I为关键点种类。

4.根据权利要求1所述抗遮挡的服饰关键点检测方法，其特征在于，在难点挖掘网络中，其中3×3的反卷积层对输入特征图上采样、1×1的卷积层在输出维度上任意伸缩，有利于特征信息的融合；

难点挖掘网络的输入为特征提取网络第四模块的输出，其尺寸大小为原图大小的输出是输入大小4倍的64个特征图；

最终采用局部归一响应化将难点挖掘网络的输出与特征提取网络模块2的输出在输出维度64上进行合并，作为最后一层卷积模板为1×1的卷积层，最终输出原图大小的的I个特征图，其中I为关键点种类。