[发明专利]一种基于语义分割的人脸特征点定位方法

权利要求书

1.一种基于语义分割的人脸特征点定位方法，其特征在于，包括：

获取待识别的单个人脸局部图像作为预先训练好的深度神经网络模型的输入，该深度神经网络模型包括图像编码器模块网络和图像解码器模块网络；

利用图像编码器模块网络获取单个人脸局部图像的高层语义特征图；

利用图像解码器模块网络对高层语义特征图进行语义分割，得到人脸特征点位置概率图。

2.如权利要求1所述的基于语义分割的人脸特征点定位方法，其特征在于，所述图像编码器模块网络采用经典的resnet-18网络结构，包括卷积层conv0和四个卷积运算集合体，每个卷积运算集合体内部均设置有不同核尺寸不同跨度的卷积层，所述图像编码器模块网络的输入为大尺寸3通道RGB图像，输出是卷积层conv0得到的语义特征图C0以及四个卷积运算集合体得到的语义特征图C1、C2、C3和C4。

3.如权利要求2所述的基于语义分割的人脸特征点定位方法，其特征在于，所述图像解码器模块网络包括特征点位置概率图预测网络和AUM模块组，AUM模块组包括4倍AUM模块、8倍AUM模块、16倍AUM模块和四个2倍AUM模块，四个2倍AUM模块的输出依次连接，每个AUM模块的输入为高分辨率特征图和低分辨率特征图，输出是高分辨率特征图；

所述特征图C0、C1、C2和C3分别输入至四个2倍AUM模块，所述特征图C4经卷积运算得到的特征图D0作为首个2倍AUM模块的输入，首个2倍AUM模块的输出为特征图D1，剩下三个2倍AUM模块输出的特征图依次为D2、D3、D43，特征图D0、D1、D2分别作为16倍AUM模块、8倍AUM模块、4倍AUM模块的输入，16倍AUM模块、8倍AUM模块、4倍AUM模块的输出分别是特征图D40、D41和D42，特征图D40、D41、D42和D43拼接得到的特征图D4作为所述特征点位置概率图预测网络的输入，所述特征点位置概率图预测网络的输出为所述人脸特征点位置概率图。

4.如权利要求3所述的基于语义分割的人脸特征点定位方法，其特征在于，所述AUM模块包括上采样层upsample、卷积层conv1、拼接层concat1、卷积运算层conv-warp、上采样运算层warp和sum层；

卷积层conv1的输入为所述高分辨率特征图，上采样层upsample的输入为所述低分辨率特征图，卷积层conv1和上采样层upsample的输出均与拼接层concat1的输入连接，拼接层concat1的输出与卷积运算层conv-warp输入连接，卷积运算层conv-warp的输出和低分辨率特征图均作为上采样运算层warp的输入，所述高分辨率特征图和上采样运算层warp的输出均作为sum层的输入，sum层的输出为所述人脸特征点位置概率图；

其中，拼接层concat1用于按通道维度拼接两个输入特征图得到的拼接特征图，卷积运算层conv-warp用于将拼接特征图转换得到上采样位置变换映射图，上采样运算层warp用于根据上采样位置变换映射图完成上采样运算，sum层用于实现两个输入特征图逐像素相加。

5.如权利要求4所述的基于语义分割的人脸特征点定位方法，其特征在于，所述上采样运算层warp用于根据上采样位置变换映射图完成上采样运算，包括：

依据所述上采样位置变换映射图，获取所述高分辨率特征图上的点在所述低分辨率特征图上的对应位置；

获取所述低分辨率特征图上的对应位置周围4个最近位置点的值；

根据该4个最近位置点的值，计算得到所述低分辨率特征图上点的值，计算公式为：

其中，(x,y)表示所述高分辨率特征图在所述低分辨率特征图上的对应位置的点坐标，(x₁,y₁)、(x₂,y₁)、(x₁,y₂)、(x₂,y₂)表示在低分辨率图上距离点(x,y)最近的四个已知值的点坐标。