[发明专利]一种基于多约束条件卷积神经网络的密集人脸对齐方法

说明书

技术领域

本发明涉及人脸识别领域，尤其是涉及了一种基于多约束条件卷积神经网络的密集人脸对齐方法。

背景技术

人脸识别是目前计算机视觉与模式识别领域的热门技术，而想要得到精确的识别结果，一般而言很有必要在运行人脸识别算法之前，先对人脸进行归一化，即人脸对齐。人脸对齐算法的核心在于检测人脸特征点，从而估计出人脸的位置与姿态。其算法的成功实现，会对一些关键领域产生重要影响，例如使用生物特征(人脸)识别的应用领域，其范围涵盖银行、电子商务、社会福利保障、安全防务等方面。

人脸是一个复杂的弹性可变的三维非刚性物体，因此人脸对齐是一个极具挑战性的复杂的模式检测问题。特殊的结构化特征的出现或消失如眼睛、胡子或者首饰，面部姿态变换如仰望、俯瞰，光照的变化如室内到室外、白天到黑夜，背景复杂程度的变化如红绿灯路过到会议室的变化，这些都对人脸对齐提出了不同程度的挑战和增加了一定难度。

本发明提出了一种基于卷积神经网络的人脸对齐新框架。首先构建基于卷积模块的分支网络，使之接受输入图像后进行形状参数和投射参数的估计，同时设计一系列约束条件并转化成损失函数，以最小化输入图像和生成图像的差异，从而得到标志物对齐的人脸。本发明可以处理多种姿态尤其大幅度转向的人脸，提供一个损失函数总框架来约束生成图像的变换，同时提升了人脸识别与对齐的效果。

发明内容

针对解决在大幅度转向中进行人脸对齐的问题，本发明的目的在于提供一种基于多约束条件卷积神经网络的密集人脸对齐方法，提出了一种基于卷积神经网络的人脸对齐新框架。

为解决上述问题，本发明提供一种基于视频数据的人体动作分析方法，其主要内容包括：

(一)三维人脸表征；

(二)卷积网络结构；

(三)损失函数设计。

其中，所述的三维人脸表征，使用S表示人脸的三维形状，其包含由Q个顶点组成的三维位置，具体为：

其中，使用三维形态模型对此三维位置进行建模，具体为：

其中，S等于所有平均值与线性插值形状基准以及的加权和，其权值系数为

对于不同的需求，产生具有N个顶点的密集三维人脸表征子集U，用于搜索人脸图像中基于二维标志物(鼻子、眼睛等)，具体为：

通过不同的变换角度，子集U生成不同的变换矩阵，以弥补角度不良的人脸表征。

所述的变换矩阵，用基于二维视图的密集人脸形状表征三维视图，具体为：为人脸的转向设置6个自由度，并且用尺度、旋转角度和变换等因素建立模型，定义转换后的密集人脸形状由公式(4)给出，

此外给定正交投影矩阵上述变换过程可用公式(5)表示：

U＝P_r·A， (5)

任意形状的二维人脸形态使用矩阵A的前两行(即A＝[m₁，...，m_8])决定。

所述的卷积网络结构，包括分支结构和卷积模块结构。

所述的分支结构，通过卷积神经网络学习非线性函数f(Θ)，从输出图像I中学习到网络参数m和p，具体为：

1)输入层经过三个卷积模块；

2)上述1)中最后一层输出分别输入到投射参数m和形状参数p的各自专用网络；

3)上述2)中投射参数m具有两个卷积模块，全连接层一层(神经元个数228)；形状参数p具有两个卷积模块，全连接层一层(神经元个数8)；

4)两个专用网络的输出进行拼接，一并输入到全连接层得到整个网络的输出。

所述的卷积模块结构，该模块中依次含有卷积层、批处理层、非线性激活层以及池化层，按照一定的参数组合起来。

所述的损失函数，通过对不同阶段的参数设置独立的损失函数，在通过加权和的方式将独立的损失函数组合起来行成总损失函数，具体有：参数约束损失函数J_pr用于最小化估计参数和实际参数之间的差异，标志物拟合约束损失函数J_lm减少二维标志物拟合误差；轮廓约束损失函数J_c用于使生成图像的轮廓与输入图像尽可能接近；尺度不变特征变换匹配约束J_s用于拟合三维视图表征矩阵，总损失函数J通过上述损失函数的加权和得到：

其中，

λ_lm、λ_c和λ_s为比例系数。