[发明专利]基于双目立体视觉的人脸三维重建方法

说明书

技术领域

本发明涉及双目立体视觉技术领域，尤其涉及一种基于双目立体视觉的人脸三维重建方法。

背景技术

人脸的三维结构信息广泛的应用在人脸图像处理中，例如人脸识别、人脸跟踪、人脸对齐等方面。在过去几年，国内外研究者提出了许多人脸三维重建的方法，一类方法是基于硬件设备进行三维人脸结构的采集，如使用三维激光扫描仪、结构光扫描仪等。这类方法能够获得精度较高的人脸三维结构数据，但是需要使用价格昂贵的硬件设备，使得此方法具有造价高、不灵活、复杂度高等诸多限制，并不适合应用于普通场合。另一类方法是基于视频或者基于多角度照片的三维人脸重建方法，这类方法成本低，使用灵活，能够应用在日常生活中。

基于双目立体视觉的人脸三维重建属于第二类方法中的一种，如何使用双目立体图像来重建人脸的三维结构仍然是一个有挑战的问题，这种方法只使用一对图像，它们来自双目摄像头的左摄像头和右摄像头，从而对人脸的三维信息进行恢复。目前存在很多双目匹配的方法，包含全局立体匹配算法和局部立体匹配算法，如BM算法、SGM算法、Meshstereo算法等。但是人脸区域的低纹理问题是人脸三维重建主要需要解决的问题。因此，提出了专门针对人脸结构的双目立体匹配方法，如基于人脸先验的块匹配方法、基于种子点增长法等进行三维人脸结构的恢复，这类方法采用高分辨率(1380是人脸区域的的摄像头采集设备，获得较高准确的结果，或者采取普通分辨率(640采集设备，的摄像头，但是获得的人脸精度比较差。由于人脸是曲面结构，而基于视差平面的立体匹配算法针对曲面结构的能够进行很好的恢复。结合人脸初始结构视差，通过立体匹配算法获取人脸的三维结构。

发明内容

鉴于上述技术问题，本发明提供了一种基于双目立体视觉的人脸三维重建方法。

根据本发明的一个方面，提供了一种基于双目立体视觉的人脸三维重建方法

该双目立体视觉的人脸三维重建方法包括：

步骤A，构建双目立体视觉系统，其中，所述双目立体视觉系统包括左摄像装置和右摄像装置；

步骤B，利用所述双目立体视觉系统采集人脸图像，由左摄像装置得到左图像，由右摄像装置得到右图像；对左图像和右图像进行立体校正；检测左图像和右图像中的人脸区域；

步骤C，对于左图像和右图像中的人脸区域，进行人脸关键点的定位和匹配；

步骤D，利用匹配的人脸关键点进行脸部稠密视差初始化，得到初始化视差；

步骤E，通过立体匹配算法平滑初始化视差；以及

步骤F，结合平滑后的初始化视差进行人脸三维重建。

优选的，本发明双目立体视觉的人脸三维重建方法中，左摄像装置和右摄像装置为相同型号的相机或摄像头：

步骤A包括：

子步骤A1，对左摄像装置和右摄像装置进行标定，得到两者的内参数，畸变参数和对应三维点的外参数；基于左右摄像装置对应三维点的外参数，得到双目立体视觉系统的旋转矩阵R、平移矩阵T；

子步骤A2，基于左摄像装置的内参数和畸变参数、右摄像装置的内参数和畸变参数，以及求取的双目立体视觉系统的旋转矩阵R和平移矩阵T，得到左校正矩阵和右校正矩阵；

其中，左校正矩阵用于对左图像进行立体校正，右校正矩阵用于对右图像进行立体校正，经过左校正矩阵处理后的左图像中的点与经过右校正矩阵处理后的右图像中的匹配点在同一条扫描线上；

步骤B中对左图像和右图像进行立体校正包括：利用左校正矩阵对左图像进行立体校正，利用右校正矩阵对右图像进行立体校正。

优选的，本发明双目立体视觉的人脸三维重建方法中，子步骤A1包括：

子分步骤A1a，获取10～20组包含不同角度和方向的平面棋盘图像；

子分步骤A1b，对获取的平面棋盘图像进行棋盘监测，定位出所述三维点所对应的棋盘格中的角点；根据张正友标定方法和Brown算法，获取左摄像装置和右摄像装置的内参数、畸变参数和棋盘角点对应的外参数；

其中，所述棋盘角点对应的外参数包括：左摄像装置的旋转矩阵R_l和左摄像装置的平移矩阵T_l；右摄像装置的旋转矩阵R_r和右摄像装置的平移矩阵T_r；

子分步骤A1c，将角点Q输入到左右摄像装置的摄像装置坐标系，对应左图和右图的坐标点Q_l和Q_r，存在如下式关系：

Q_l＝R_lQ+T_l