[发明专利]一种同步实现人脸三维点云特征点定位和人脸分割的方法

权利要求书

1.一种同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，包括如下步骤：

S1：点云初始化：输入人脸点云数据，要求点云具有纹理信息；

S2：投影：将具有纹理的点云信息投影到2D图像上；

S3：2D特征点定位：在投影的2D图像上定位人脸特征点；

S4：求解3D特征点：根据对应关系求解人脸三维点云的特征点；

S5：分割：用特征点信息裁剪人脸点云数据；所述S5包括如下步骤：

S51：利用S4求出的3D点云人脸特征点中的人脸轮廓特征点，根据轮廓特征点与鼻尖的距离和位置信息，设置裁剪系数为1.2-1.4，裁剪掉人脸外部点云；

S52：利用S4求出的3D点云人脸特征点中的人脸眉毛特征点，根据眉毛特征点与两嘴角距离和位置信息，设置裁剪系数为1.2-1.4，裁剪掉眉毛以上区域的点云；

S53：在第二次及以后的迭代过程中，对于裁剪人脸外部和眉毛以上区域的点云，设置裁剪系数为1.05-1.2；

S6：修剪：去除点云离群值；

S7：迭代：返回S2重新求解点云特征点，迭代直到点云特征点稳定；

S8：输出：输出裁剪后的人脸点云和人脸3D特征点。

2.根据权利要求1所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，所述S2包括如下步骤：

S21：设置投影的2D图像的大小，将点云数据归一化，并取整；

S22：对于已经归一化取整的3D点云数据，利用正交投影，生成3D带有纹理信息的点云数据的2D图像；

S23：在第二次及以后的迭代过程中，有人脸特征点信息，利用POSIT算法求出人脸位姿，完成人脸数据的矫正。

3.根据权利要求1所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，所述S3包括如下步骤：

S31：用卷积神经网络检测生成的2D图片是否含有人脸，若没检测出人脸则跳出循环；

S32：用基于级联回归树的人脸对齐算法定位出2D图像的特征点。

4.根据权利要求3所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于：步骤S31的具体过程为设计两个阶段的卷积网络模型，第一个阶段是全卷积网络，获得脸部区域的位置和窗口；第二个阶段是优化网络，用来判断图像中是否有人脸，若没检测出人脸则跳出循环，用误差反向传播算法来训练模型。

5.根据权利要求3所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，步骤S32的具体包括如下步骤：

(1)一共有n幅人脸图像的样本，这n幅人脸图像已经标记好68个特征点：

(I₁,S₁),...(I_n,S_n)，其中I_i是第i张图片，S_i为第i张图片的特征点的坐标向量；

(2)将这n幅图像的每个坐标值相加并除以n获得人脸特征点的平均形状S₀，将这个平均形状S₀作为初始形状；

(3)定义k层级联回归器，r_t为每个回归器，每一层的回归的数据形式可以定义为其中是第t层预测特征点的位置，△S_i^(t)是第t层回归的结果和真实值之间的差，迭代公式为：

(4)对于回归器的训练，使用梯度增强树算法来进行训练，对第t-1个模型函数：f_t-1(x_i)，可以将其梯度g表示为：

其中，L(y_i,f(x_i))为损失函数，f(x_i)为回归器的结果，y_i为真值，这里使用两者的平方根误差作为损失函数；

在梯度下降迭代时，损失函数设置为本模型和上一个模型计算的梯度。