[发明专利]一种单级人脸分割的方法

权利要求书

1.一种单级人脸分割的方法，其特征在于，包括以下的实施步骤：

步骤1、首先使用Grid模块对输入的人脸图像进行均匀网格化，为分类分支提供网格化类别标签，为掩码分支提供参考掩码；

步骤2、使用FCN模块对网格化后人脸图像进行基础特征的提取；

步骤3、使用JFU模块对FCN模块输出的三级特征进行融合，获得更加丰富的特征信息；

步骤4、使用Category模块对JFU模块的输出进行处理，实现分类分支的功能，预测每个网格图像是否存在人脸部位，若存在人脸部位，则给出对应的网格位置、类别和置信度，为掩码分支提供参考信息；

步骤5、使用Mask模块对JFU模块的输出进行处理，获取人脸部位的分割掩码，预测每个网格对应的掩码图像。

2.根据权利要求1所述的一种单级人脸分割的方法，其特征在于，步骤1所述的Grid模块对输入的人脸图像进行均匀网格化是将输入的人脸图像均匀分成S行S列，即S²个网格子图，以左眼、右眼、鼻子、嘴唇等部位及背景作为参考分割标记，共5种类别标记，人脸各部位的中心点所处的网格标记为该部位的类别，剩下的网格均标记为背景类别，最终产生一个SxS的矩阵，作为分类分支的参考标签，相应的，每个网格对应一个掩码图像，因有S²个网格，所以掩码分支将输出S²个通道，每个通道对应一个网格，每个掩码图像只对应一个类别的一个对象。

3.根据权利要求1所述的一种单级人脸分割的方法，其特征在于，步骤1中所述的分类分支和掩码分支作为两个不同的任务，用于共同完成人脸分割，两个分支在训练中使用不同的损失函数，分类分支使用Cross Entropy Loss，记为L_CE，如公式一所示，掩码分支采用Dice Loss，记为L_Dice，如公式二所示：

公式一中，x[j]和x[class]均为预测层的输出，x[class]为真实类别class的值；

公式二中，p_x，y为预测掩码中在位置(x，y)的像素值，q_x，y为真实掩码中在位置(x，y)的像素值；

在训练过程中，整体损失函数，如公式三所示：

L＝L_c+λL_Dice 公式三

公式三中，λ为损失函数系数，用于平衡两路分支的损失函数权重。

4.根据权利要求1所述的一种单级人脸分割的方法，其特征在于，步骤2所述的FCN模块由1个3x3的卷积层和4个Block层构成，而Block层包含4个3x3的卷积层，1个1x1的卷积层和2个求和层构成，首先输入图像经过Stride＝2的卷积层，然后依次经过4级Block层，每个Block层都会进行一次特征降维，最后取后三级Block层的输出作为下一个JFU模块的三路输入。

5.根据权利要求1所述的一种单级人脸分割的方法，其特征在于，步骤3所述的JFU模块由卷积层、上采样层、级联层和膨胀卷积层构成，三路输入分别对应FCN模块的三级Block层的输出，三路输入具有不同的通道数和特征平面大小，在分别经过卷积层后获得通道数一致的特征平面，再分别经过上采样层获得尺寸一致的特征平面，将这三路特征平面级联，然后分别经过四路膨胀系数不同的卷积层，膨胀系数分别为1，2，4和8，最后将这四路特征平面级联，作为下一模块的输入。

6.根据权利要求1所述的一种单级人脸分割的方法，其特征在于，步骤4所述的Category模块由N个卷积层，1个预测层和1个Softmax层构成，其中预测层由1个输出通道数为C的卷积层构成，Category模块的流程为输入的特征平面经过N个卷积层，然后经过1个预测层，再经过Softmax层，分类分支的网络输出大小为SxSxC，即特征平面大小为SxS，通道数为C，每个网格位置都会进行C类别的预测，挑选出置信度最高的类别，形成SxS的网格预测结果。

7.根据权利要求1所述的一种单级人脸分割的方法，其特征在于，步骤5所述的Mask模块主要由M个卷积层，1个预测层和1个上采样层构成，其中预测层由一个输出通道数为S²的卷积层构成，Mask模块用于实现掩码分支的功能，预测每个网格对应的掩码图像，掩码分支的输出大小为HxWxS²，即掩码的特征平面大小为HxW，通道数为S²，掩码分支对每个网格都进行了掩码预测，与分类分支的预测结果形成一一对应关系，在分割预测中，首先在分类分支的预测结果中定位网格的位置(i，j)和类别C，找到掩码分支中的对应掩码图像的通道位置，即(i*S+j)，该掩码图像即为人脸部位类别C的掩码图。