[发明专利]人脸关键点定位系统及方法

说明书

一种用于定位图像中的人脸关键点的神经网络系统，包括两个或多个串联的卷积神经网络。每个卷积神经网络包括多个下采样层、多个上采样层以及多个连接相同大小的层的横向连接。每个横向连接包括一个或多个有上采样输入的聚合节点，其中，至少一个聚合节点还包括下采样输入。

技术领域

本发明涉及人脸关键点定位，尤其涉及使用神经网络系统定位人脸关键点的系统和方法。

背景技术

人脸关键点定位，或人脸对齐，涉及在图像中找到各种人脸特征的位置。可以定位的人脸特征的例子包括嘴巴、鼻梁、眉毛和下巴。人脸关键点定位应用广泛，包括但不限于人脸识别、人脸跟踪、表情理解和3D人脸重建。

发明内容

根据本发明的第一方面，提供了一种用于定位图像中的人脸关键点的神经网络系统，所述神经网络系统包括两个或多个串联的卷积神经网络，每个所述卷积神经网络包括多个下采样层、多个上采样层以及连接从大小相同的层的多个横向连接；其中，每个所述横向连接包括有上采样输入的一个或多个聚合节点；其中，至少一个所述聚合节点还包括下采样输入。

每个所述卷积神经网络可以包括3个或4个下采样层以及对应数量的上采样层。

每个所述卷积神经网络可以包括3个下采样层。

所述聚合节点中只有一个聚合节点可以包括下采样输入。

每个所述聚合节点可以包括下采样输出。

所述横向连接中至少有一个横向连接可以包括一个或多个横向跳跃连接。

所述横向连接中至少有一个横向连接可以包括一个或多个卷积。

所述卷积中至少有一个卷积可以是逐深度可分离卷积。

所述神经网络系统可以包括能够接收128×128像素输入图像的输入层。

所述神经网络系统可以包括通道聚合块，所述通道聚合块包括：多个通道减少步长、多个通道增加步长，以及多个连接相同通道大小的步长的分支连接。

所述多个下采样层中的每个下采样层、所述多个上采样层中的每个上采样层以及每个所述聚合节点可以包括所述通道聚合块。

每个所述卷积神经网络的输出可以与空间变换器连接。

所述空间变换器可以包括至少一个可变形卷积。

根据本发明的第二方面，提供了一种使用神经网络系统定位图像中的人脸关键点的方法，所述方法包括接收输入图像的步骤，所述输入图像包括多个输入像素；在串联的多个卷积神经网络中的每个卷积神经网络中：使用多个下采样层对所述输入图像进行下采样；使用多个上采样层对下采样图像进行上采样；其中，所述上采样包括，使用相同大小的下采样层中的横向连接，将所述上采样图像与聚合信号输入合并到所述上采样层中；其中，每个所述横向连接包括有上采样输入的一个或多个聚合节点；其中，至少一个所述聚合节点还包括下采样输入；从所述串联的卷积神经网络的所述输出中，生成所述输入图像对应的输出热力图，所述热力图表示每个输入像素处人脸关键点可能的位置。

根据本发明的第三方面，提供了一种训练神经网络系统的方法，包括：接收多个训练人脸图像和多个预期人脸关键点参数集合；将所述多个训练人脸图像中的一个训练人脸图像输入所述神经网络系统；为响应所述输入，使用所述神经网络系统为所述训练人脸图像生成人脸关键点热力图；训练所述神经网络系统，包括更新多个神经网络权重中的一个或多个神经网络权重，来最小化损耗，损耗一定程度上是基于所述生成的人脸关键点热力图和所述对应的预期人脸关键点参数集合的比较来度量的。