[发明专利]结合空洞卷积与级联金字塔网络的服饰关键点定位方法

摘要

本发明涉及一种结合空洞卷积与级联金字塔网络的服饰关键点定位方法，包含三个部分：ResNet‑101、GlobalNet和RefineNet，通过ResNet‑101进行图像特征提取；GlobalNet进行简单的关键点定位；RefineNet整合来自GlobalNet的特征表征，识别余下的困难关键点。

主权项

1.一种结合空洞卷积与级联金字塔网络的服饰关键点定位方法，包含三个部分：ResNet‑101、GlobalNet和RefineNet，通过ResNet‑101进行图像特征提取；GlobalNet进行简单的关键点定位；RefineNet整合来自GlobalNet的特征表征，识别余下的困难关键点。包括：1)ResNet‑101特征提取网络：对于一张大小为N×N的输入图像，引入捷径跳过某些层的连接，再与主径汇合；2)基于GlobalNet的提取不同尺度特征的级联金字塔结构模块：在Conv4‑Conv5以空洞卷积代替原本的卷积操作，在增加感受野的同时不降低空间分辨率，分别产生空间尺度为256×N/4×N/4,512×N/8×N/8,512×N/8×N/8,512×N/8×N/8的特征图，后三组特征图尺度一样，底层的特征图Conv2和Conv3有比较高的空间分辨率，但是语义信息比较低；而高层的特征图Conv4和Conv5包含有更多的语义信息且空间分辨率未降低；3)基于GlobalNet的融合不同尺度特征级联模块：引入空洞卷积使得后三组特征图已经具有相同的尺寸可直接相加，仅在最后一层需要进行上采样操作后融合；4)利用RefineNet对来自GlobalNet的特征表征进行聚合来定位困难关键点，在RefineNet中只保留了Conv2与Conv4产生的特征图；5)网络训练和测试：对于训练图像进行相应的图像旋转、热力图高斯模糊等数据增强操作来提高数据量且提升网络鲁棒性，通过测试数据集测试结果，输出服饰关键点定位结果图，以及最终结果的关键点坐标相对于真实标签的误差率。