[发明专利]图像中的面部定位

权利要求书

1.一种训练神经网络以进行人脸定位的计算机实现的方法，其特征在于，所述方法包括：

向所述神经网络输入训练图像，所述训练图像包括一个或多个人脸；

使用所述神经网络处理所述训练图像；

从所述神经网络为所述训练图像中的多个训练锚点中的每一个训练锚点输出一组或多组输出数据，每组输出数据包括预测面部分类、对应的人脸框的预测位置和一个或多个对应的特征向量；

根据目标函数更新所述神经网络的参数，其中，对于所述训练图像中的每个正锚点，所述目标函数包括：

分类损失，用于将所述正锚点的预测分类与所述正锚点的已知分类进行比较；

框回归损失，用于将所述正锚点的人脸框的预测位置与所述人脸框的已知位置进行比较；

特征损失，用于将所述正锚点的所述一个或多个特征向量的基于像素的属性与和所述正锚点相关联的、人脸的已知的基于像素的属性进行比较。

2.根据权利要求1所述的方法，其特征在于，所述一个或多个特征向量包括人脸的多个面部特征点的预测位置，其中，所述特征损失包括面部特征点回归损失，用于将所述多个面部特征点的所述预测位置与所述多个面部特征点的已知位置进行比较。

3.根据权利要求1或2所述的方法，其特征在于，所述一个或多个特征向量包括预测人脸框内的人脸的编码表示，其中，所述方法包括：

使用网格解码器神经网络生成所述人脸的三维表示，所述网格解码器神经网络包括一个或多个几何卷积层；

使用可微渲染器从所述人脸的所述三维表示生成所述人脸的二维图像，

其中，所述特征损失包括密集回归损失，用于将所述生成的人脸的二维图像与所述预测人脸框内的所述人脸的实测值图像进行比较。

4.根据权利要求3所述的方法，其特征在于，所述特征向量还包括相机参数和/或照明参数，其中，所述可微渲染器在从所述人脸的所述三维表示生成所述人脸的所述二维图像时使用所述相机参数和/或照明参数。

5.根据权利要求3或4所述的方法，其特征在于，所述密集回归损失是所述生成的人脸的二维图像与所述预测人脸框内的所述人脸的所述实测值图像之间的像素差。

6.根据权利要求3至5中任一项所述的方法，其特征在于，所述网格解码器包括多个几何卷积层和多个放大层，其中，所述多个放大层与所述多个几何卷积层交错。

7.根据上述权利要求中任一项所述的方法，其特征在于，对于所述训练图像中的每个负锚点，所述目标函数包括分类损失，用于将所述负锚点的预测分类与所述负锚点的已知分类进行比较。

8.根据上述权利要求中任一项所述的方法，其特征在于，还包括使用一个或多个其它训练图像迭代所述方法，直到满足阈值条件。

9.根据上述权利要求中任一项所述的方法，其特征在于，所述神经网络包括：

第一多个卷积层，包括输入层、多个卷积过滤器和一个或多个跳跃连接；

第二多个卷积层，横向连接到所述第一多个卷积层，并用于以自上而下的方式处理所述第一多个卷积层的输出。

10.根据权利要求9所述的方法，其特征在于，每个横向连接用于将所述第一多个卷积层中的一个层的输出与所述第二多个卷积层的前一层的输出合并。

11.根据权利要求9或10所述的方法，其特征在于，所述第二多个卷积层包括一个或多个可变形卷积。

12.根据权利要求9至11中任一项所述的方法，其特征在于，所述神经网络还包括一个或多个上下文模块，每个上下文模块用于使用一个或多个可变形卷积网络处理所述第二多个卷积层中的一个层的所述输出。