[发明专利]人脸关键点定位系统及方法

权利要求书

1.一种用于定位图像中的人脸关键点的神经网络系统，其特征在于，所述神经网络系统包括：

串联的两个或多个卷积神经网络，每个卷积神经网络包括：

多个下采样层；

多个上采样层；

多个连接相同大小的层的横向连接；

其中，每个所述横向连接包括有上采样输入的一个或多个聚合节点；

其中，至少一个所述聚合节点还包括下采样输入。

2.根据权利要求1所述的神经网络系统，其特征在于，每个卷积神经网络包括3个或4个下采样层以及对应数量的上采样层。

3.根据权利要求2所述的神经网络系统，其特征在于，每个卷积神经网络包括3个下采样层。

4.根据上述权利要求中任一项所述的神经网络系统，其特征在于，所述聚合节点中仅一个聚合节点包括下采样输入。

5.根据权利要求1至3中任一项所述的神经网络系统，其特征在于，每个所述聚合节点都包括下采样输出。

6.根据上述权利要求中任一项所述的神经网络系统，其特征在于，所述横向连接中的至少一个包括一个或多个横向跳过连接。

7.根据上述权利要求中任一项所述的神经网络系统，其特征在于，所述横向连接中的至少一个包括一个或多个卷积。

8.根据权利要求7所述的神经网络系统，其特征在于，所述卷积中的至少一个是逐深度可分离卷积。

9.根据上述权利要求中任一项所述的神经网络系统，其特征在于，所述神经网络系统还包括能够接收128×128像素输入图像的输入层。

10.根据上述权利要求任一项所述的神经网络系统，其特征在于，所述神经网络系统还包括通道聚合块，所述通道聚合块包括：

多个通道减少步长；

多个通道增加步长；

多个连接相同通道大小的步长的分支连接。

11.根据权利要求任一上述权利要求所述的神经网络系统，其特征在于，所述多个下采样层中的每一个下采样层、所述多个上采样层中的每一个上采样层和所述聚合节点中的每一个聚合节包括所述通道聚合块。

12.根据权利要求任一上述权利要求所述的神经网络系统，其特征在于，每个卷积神经网络的所述输出与空间变换器连接。

13.根据权利要求12所述的神经网络系统，其特征在于，所述空间变换器包括至少一个可变形卷积。

14.一种使用神经网络系统定位图像中的人脸关键点的方法，其特征在于，所述方法包括以下步骤：

接收输入图像，所述输入图像包括多个输入像素；

在串联的多个卷积神经网络中的每个卷积神经网络中：

使用多个下采样层对所述输入图像进行下采样；

使用多个上采样层对所述下采样图像进行上采样；

其中，所述上采样还包括，使用相同大小的下采样层中的横向连接，将所述上采样图像与聚合信号输入合并到所述上采样层中；

其中，每个所述横向连接包括有上采样输入的一个或多个聚合节点；

其中，至少一个所述聚合节点还包括下采样输入；

从所述串联的卷积神经网络的所述输出中，生成所述输入图像对应的输出热力图，所述热力图表示每个输入像素处人脸关键点可能的位置。