[发明专利]一种基于边缘图的三维人脸重建方法及系统

说明书

技术领域

本发明涉及计算机图形学、数字图像处理以及人工智能等领域，具体是一种通过平面图像进行三维人脸建模的方法及系统。

背景技术

人脸重建有许多经典方法，如形变模型重建的方法一直是近年的研究热点，其利用线性组合的思想，将已有的样本分解为特征子空间，并利用特征子空间中的基表示特定实例。然而，由于形变模型是通过迭代方法寻求全局最优解，通过三维模型的点点迭代寻优，其寻优过程及其耗时。另外，稀疏形变模型方法，根据面部少量特征点近似求解形变参数来恢复人脸深度信息。由于其速度快、真实度还原较好，多数三维重建算法及后续工作都是建立在稀疏形变模型的方法之上。然而，稀疏形变模型存在两个方面的主要缺点，其一是对人脸姿态的适应性较差，无法对有姿态变化的点进行重建，其二是对目标特征点的标定精度要求高，特征点的标定直接影响了算法的重建精度。为了克服稀疏形变模型的这两个缺点，提出了基于边缘图的三维人脸重建方法。

发明内容

针对经典的形变模型与稀疏形变模型的主要缺点，本发明提供一种三维人脸的快速重建方法及其系统，其对平面照片中人脸姿态变化有很好的适应性，并能减少由于特征点标定误差所带来的影响，达到了对单张任意姿态二维人脸照片能够迅速还原出其三维形状。这对于人脸重构、人脸识别的研究与实际应用的开发都具有重要的理论与实际意义。具体技术方案如下：

一种基于边缘图的三维人脸重建方法，包括如下步骤：

步骤一：根据二维图像的人脸特征点，生成二维人脸边缘线；

步骤二：根据规范化之后的三维人脸样本库建立三维人脸边缘图，同时对规范化之后的三维人脸样本库进行主成份分解得出各特征向量；

步骤三：通过遗传算法匹配目标图像的二维人脸边缘线与三维人脸边缘图，进行寻优得到目标图像的三维重建系数序列；

步骤四：综合步骤二中的各特征向量及步骤三中的三维重建系数序列重建出三维人脸模型。

优选的，所述步骤一进一步具体包括：输入二维图像，标定二维图像上的人脸特征点，再根据特征点所在的不同特征区域将特征点相组合连接，生成描绘人脸特征部位边缘信息的线段集，即二维人脸边缘线，每个特征区域的边缘线中的线段集将构成一个闭合的折线，这条折线位于特征部位的边缘上，将特征部位包含在内，表达特征部位的边缘信息。

所述步骤二中根据规范化之后的三维人脸样本库建立三维人脸边缘图进一步具体包括：输入三维人脸模型样本库，规范化三维人脸模型样本库生成三维样本模型，将人脸特征部位的角点、边缘用点标记，再将这些描绘人脸特征部位边缘信息的点组合连接成为三维样本模型特征部位的3D边缘线；在三维样本模型上表示3D边缘线的闭合折线的内外两侧选取众多点，所选取的这些点需在闭合折线附近、靠近闭合折线，并能够表示闭合折线的(位置、形状、变化趋势等)信息，这些点集就是三维人脸边缘图。

所述步骤三包括如下步骤：

(1)产生初始种群：

设定每代种群包含N个三维重建系数序列：f₁,f₂,…,f_N，其中f＝(β₁,β₂,…,β_m,α,γ,δ,k)∈R^m+4，(α，γ，δ)为人脸对应三个方向，x轴，y轴，z轴的旋转角度，(α,γ,δ)∈(-45°～45°)，根据三维重建系数序列中每个系数的范围，均匀选取系数，作为初代种群；

(2)选择：

首先定义F为每个三维重建系数序列的适应度函数，其为三维人脸边缘图上点到其对应二维人脸边缘线的距离和：F＝1/D，n代表三维人脸边缘图上点的总数目，k为二维人脸边缘线的总数目，O(p_i,l_j)代表三维人脸边缘图上点p_i与其对应二维人脸边缘线上直线l_j的点线间距离，S定义为符号函数，表示点与对应直线间的位置关系：

其中，symbol:-→+代表原边缘图定义时目标点在其对应边缘线内部，而在模型形变后目标点在其对应边缘线外部；symbol:+→-亦然。

然后根据适应度函数F计算种群中每个基因的适应度：F₁,F₂,…,F_N,根据所计算出的适应度序列将上代三维重建系数序列进行降序排列：f′₁,f′₂,…,f′_N，将适应度最大的点作为猴王点f′₁；