[发明专利]一种人脸校正方法及电子设备

说明书

本申请实施例公开了一种人脸校正方法及电子设备，涉及图像处理领域，使得视频时沟通更自然，提高了沟通效率。具体方案为：获取原2D图像和3D人脸模型，原2D图像和3D人脸模型中人脸面部并未正对显示屏；对3D人脸模型中的3D人脸进行面部朝向校正，校正后的3D人脸模型中人脸面部正对显示屏；对校正后的3D人脸模型进行投影获得2D人脸图像；以该2D人脸图像中的人脸面部图像为目标，对原2D图像中的人脸面部图像进行仿射变换；根据2D人脸图像的人脸面部的掩码，将进行仿射变换后的原2D图像和2D人脸图像进行融合获得人脸面部正对显示屏的2D图像。

技术领域

本申请涉及图像处理领域，尤其涉及一种人脸校正方法及电子设备。

背景技术

随着移动互联网的发展，视频会议和视频聊天的应用越来越广泛。在进行视频会议或视频聊天的过程中，如果视频双方能够进行眼神交互，则能给视频参与者带来良好的交流体验。一般而言，在进行视频会议或视频聊天时，只有在视频参与者的面部和视线朝向摄像头时，对方才会觉得视频画面中的人与自己存在眼神交互。如果视频参与者面部或视线朝向的是显示屏，而不是摄像头，则对方会觉得该视频参与者眼睛看向别处，与自己并没有眼神交流。

例如，如图1所示，用户1利用台式电脑与用户2进行视频会议。该台式电脑的显示屏与摄像头之间存在一定的角度和距离。又例如，如图2所示，用户1利用华为笔记本电脑与用户2进行视频聊天。华为笔记本电脑的摄像头为隐藏式设计，位于显示屏的下方(图2中仅是为了示意出摄像头的位置，不表示摄像头的实际设置方式)。结合图1或图2，在用户1与用户2视频的过程中，如果用户1看向显示屏，也即其面部或视线并未朝向摄像头，那么该摄像头采集到的视频画面中用户1的面部或视线朝向并未正对显示屏。这样，用户2在视频画面中会看到用户1看向别处。例如，如图3所示，用户2看到的视频画面中，用户1的面部朝上，眼睛向上看，与自己并没有进行眼神交流。这会导致沟通不自然，降低沟通效率。

发明内容

本申请实施例提供一种人脸校正方法及电子设备，解决了在显示屏与摄像头之间存在一定的角度或距离时，如果用户未看向摄像头而是看向显示屏，使得对方看到的视频画面中人看向别处，与自己没有眼神交流，导致沟通不自然，沟通效率低下的问题。

为了达到上述目的，本申请实施例采用如下技术方案：

第一方面，本申请实施例提供一种人脸校正方法，该方法可以包括：电子设备获取第一2D图像，该第一2D图像中的人脸面部的朝向与电子设备的显示屏的垂线不平行，即第一2D图像中的人脸面部并未正对电子设备的显示屏；电子设备获取3D人脸模型，该3D人脸模型中人脸面部的朝向与摄像头捕获第一2D图像时用户人脸相对于摄像头的朝向相同，该3D人脸模型中人脸面部也并未正对显示屏；电子设备对3D人脸模型中的3D人脸进行面部朝向校正，校正后的3D人脸模型中人脸面部的朝向与显示屏的垂线平行，也就是说，校正后的3D人脸模型中人脸面部正对显示屏；电子设备对校正后的3D人脸模型进行投影，获得2D人脸图像，该2D人脸图像中人脸面部的朝向与显示屏的垂线平行，即该2D人脸图像中人脸面部针正对显示屏；电子设备以2D人脸图像中的人脸面部图像为目标，对第一2D图像中的人脸面部图像进行仿射变换(或透视变换)；电子设备生成2D人脸图像的人脸面部的掩码(mask)；电子设备根据2D人脸图像的人脸面部的mask，将进行仿射变换后的第一2D图像和2D人脸图像进行融合，获得第二2D图像，该第二2D图像中人脸面部的朝向与显示屏的垂线平行，即该第二2D图像中人脸面部正对显示屏。

本申请实施例提供的人脸校正方法，获取原2D图像和3D人脸模型，通过对3D人脸模型中的3D人脸进行校正后重新投影得到2D人脸图像。另外，通过对原2D图像进行人脸仿射变换(或透视变换)，并基于人脸掩码对进行仿射变换后的原2D图像和2D人脸图像进行无缝融合，实现了对人脸朝向的校正。使得对端用户观看到的视频画面中的人不会看向别处，会觉得视频画面中的人与自己存在眼神交流，使得沟通更自然，提高沟通效率。且这种融合方法计算量小，无需占用很多资源。