[发明专利]一种三维人脸重建方法、装置及相关设备

说明书

本申请实施例公开了一种三维人脸重建方法、装置及相关设备，在获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像后，可以在第一彩色图像中识别出位于人脸中心区域的多个中心特征点，根据第一深度图像确定多个中心特征点的三维坐标，根据多个中心特征点的三维坐标构建三维感兴趣区域，基于第一感兴趣区域中的第一数据进行三维人脸重建，第一感兴趣区域中的第一数据根据第一深度图像确定。本申请实施例中的三维感兴趣区域是根据位于人脸中心区域的多个中心特征点的三维坐标构建的，而人脸中心区域的中心特征点在深度图像中受到噪声干扰的影响较小，因此得到的三维感兴趣区域较为准确，基于三维感兴趣区域进行的三维人脸重建也较为可靠。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种三维人脸重建方法、装置及相关设备。

背景技术

三维人脸重建技术是计算机视觉和计算机图形学领域的一大研究热点，其在虚拟显示/增强显示、自动驾驶、机器人等各个方面发挥着重大作用，有着广泛的应用。近年来许多消费级深度相机的出现，使得能够对一些场景与物体进行实时三维重建，此类相机一般同时带有颜色传感器和深度传感器，能够同时获取场景物体的彩色图像和深度图像，其中彩色图像能够记录相机的视角中场景物体的颜色信息，而深度图像能够记录场景内物体的位置关系以及物体到相机的距离信息，这类相机可以称为RGB-D(RGB彩色图像和Depth深度图像)相机。

现有的三维人脸重建方法中，在同时获得人脸的彩色图像和深度图像后，可以利用人脸特征点检测算法在彩色图像中检测人脸特征点的位置，根据人脸特征点的位置以及深度图像可以确定每个人脸特征点的三维坐标，根据人脸特征点的三维坐标可以确定人脸所在区域，从而去除非人脸区域，将人脸所在区域中的各个点云对应到全局模型中，实现三维人脸重建。

然而，消费级相机得到的深度图像可能存在噪声，因此得到的人脸特征点的三维坐标不一定是准确的，确定的人脸所在区域误差较大，影响三维人脸重建的准确性。

发明内容

为解决上述技术问题，本申请实施例提供一种三维人脸重建方法、装置及相关设备，提高三维人脸重建的准确性。

本申请实施例提供了一种三维人脸重建方法，所述方法包括：

获取对人脸进行拍摄得到的第一彩色图像和对应的第一深度图像；

在所述第一彩色图像中识别出位于人脸中心区域的多个中心特征点；

根据所述第一深度图像确定所述多个中心特征点的三维坐标；

基于所述多个中心特征点的三维坐标构建第一感兴趣区域；

基于所述第一感兴趣区域中的第一数据进行三维人脸重建，所述第一感兴趣区域中的第一数据根据所述第一深度图像确定。

可选的，所述基于所述多个中心特征点的三维坐标构建第一感兴趣区域，包括：

计算所述中心特征点的中心点的坐标；

在所述中心点与拍摄所述第一彩色图像的相机的连线方向上，调整所述中心点的坐标；

将调整后的中心点作为区域中心点，构建三维感兴趣区域。

可选的，所述将调整后的中心点作为区域中心点，构建三维感兴趣区域，包括：

将调整后的中心点作为区域中心点，将预设值作为半径，构建球形的第一感兴趣区域；或，

将所述调整后的中心点作为区域中心点，将预设值作为区域中心点到区域表面的距离，构建立方体的第一感兴趣区域。

可选的，所述基于所述第一感兴趣区域中的第一数据进行三维人脸重建，包括：

将所述第一感兴趣区域中的第一数据与全局模型进行迭代最近点配准，得到所述第一数据与所述全局模型的刚性变换；