[发明专利]基于双目立体视觉的人脸三维重建方法

权利要求书

1.一种基于双目立体视觉的人脸三维重建方法，其特征在于，包括：

步骤A，构建双目立体视觉系统，其中，所述双目立体视觉系统包括左摄像装置和右摄像装置；

步骤B，利用所述双目立体视觉系统采集人脸图像，由左摄像装置得到左图像，由右摄像装置得到右图像；对左图像和右图像进行立体校正；检测左图像和右图像中的人脸区域；

步骤C，对于左图像和右图像中的人脸区域，进行人脸关键点的定位和匹配；

步骤D，利用匹配的人脸关键点进行脸部稠密视差初始化，得到初始化视差；

步骤E，通过立体匹配算法平滑初始化视差；以及

步骤F，结合平滑后的初始化视差进行人脸三维重建。

2.根据权利要求1所述的人脸三维重建方法，其特征在于，所述左摄像装置和右摄像装置为相同型号的相机或摄像头：

所述步骤A包括：

子步骤A1，对左摄像装置和右摄像装置进行标定，得到两者的内参数，畸变参数和对应三维点的外参数；基于左右摄像装置对应三维点的外参数，得到双目立体视觉系统的旋转矩阵R、平移矩阵T；

子步骤A2，基于左摄像装置的内参数和畸变参数、右摄像装置的内参数和畸变参数，以及求取的双目立体视觉系统的旋转矩阵R和平移矩阵T，得到左校正矩阵和右校正矩阵；

其中，左校正矩阵用于对左图像进行立体校正，右校正矩阵用于对右图像进行立体校正，经过左校正矩阵处理后的左图像中的点与经过右校正矩阵处理后的右图像中的匹配点在同一条扫描线上；

所述步骤B中对左图像和右图像进行立体校正包括：利用左校正矩阵对左图像进行立体校正，利用右校正矩阵对右图像进行立体校正。

3.根据权利要求2所述的人脸三维重建方法，其特征在于，所述子步骤A1包括：

子分步骤A1a，获取10～20组包含不同角度和方向的平面棋盘图像；

子分步骤A1b，对获取的平面棋盘图像进行棋盘监测，定位出所述三维点所对应的棋盘格中的角点；根据张正友标定方法和Brown算法，获取左摄像装置和右摄像装置的内参数、畸变参数和棋盘角点对应的外参数；

其中，所述棋盘角点对应的外参数包括：左摄像装置的旋转矩阵R_l和左摄像装置的平移矩阵T_l；右摄像装置的旋转矩阵R_r和右摄像装置的平移矩阵T_r；

子分步骤A1c，将角点Q输入到左右摄像装置的摄像装置坐标系，对应左图和右图的坐标点Q_l和Q_r，存在如下式关系：

Q_l＝R_lQ+T_l

Q_r＝R_rQ+T_r

Q_l＝R^T(Q_r-T)

其中，Q为角点Q在世界坐标系的三维坐标，左图为左摄像装置得到的图像，右图为右摄像装置得到的图像，推出下面关系：

R＝R_r(R_l)

T＝T_r-RT_l

根据给定棋盘格的角点的对个联合视图，以及每个角点所对应的外参数矩阵，求解出旋转矩阵R和平移矩阵T；由于图像噪声和舍入误差，每一对棋盘都会使得R和T的结果出现细小不同，选用R和T参数的中值作为真实结果的初始值，运用Levenberg-Marquardt迭代算法查找棋盘角点在两个摄像装置视图上的最小投影误差，返回旋转矩阵R和平移矩阵T的结果。

4.根据权利要求2所述的人脸三维重建方法，其特征在于，所述子步骤A2中，利用Bouguet算法，左摄像装置的内参数和畸变参数、右摄像装置的内参数和畸变参数，以及求取的双目立体视觉系统的旋转矩阵R和平移矩阵T，得到左校正矩阵和右校正矩阵。

5.根据权利要求1所述的人脸三维重建方法，其特征在于，所述步骤B中运用Haar-Adaboost分类器检测左图像和右图像上的人脸区域。