[发明专利]基于重建网络的人脸重建方法和装置、设备、介质、产品

说明书

本发明实施例公开了一种基于重建网络的人脸重建方法和装置、设备、介质、产品，其中，方法包括：分别对人脸图像集和待处理人脸图像进行轮廓线提取，获得人脸轮廓线集和待处理人脸轮廓线；根据所述人脸轮廓线集中至少一个人脸轮廓线对应人脸的姿势和/或表情，调整所述待处理人脸轮廓线，得到至少一个目标人脸轮廓线；基于所述目标人脸轮廓线获得待处理人脸图像对应的人脸变更姿势和/或表情后的目标人脸图像。本发明上述实施例通过人脸轮廓线可更快分析得到人脸的姿势和/或表情，使转换更准确且稳定，提升了网络对输入大角度姿势和没见过的图片的鲁棒性，并减少了不成对的训练数据带来的转换信息的损失。

技术领域

本发明涉及计算机视觉技术，尤其是一种基于重建网络的人脸重建方法和装置、设备、介质、产品。

背景技术

换脸技术即将视频或者照片中的人脸(以下称为源)换成另一个目标人物(以下称为目标)，要求满足真实性与一致性，真实性指转换后的人脸效果真实，一致性指转换前后目标和源的人脸角度和表情一致。换脸技术被广泛的应用在趣味应用中。

发明内容

本发明实施例提供的一种基于重建网络的人脸重建技术。

根据本发明实施例的一个方面，提供的一种基于重建网络的人脸重建方法，包括：

分别对人脸图像集和待处理人脸图像进行轮廓线提取，获得人脸轮廓线集和待处理人脸轮廓线，所述人脸图像集包括至少一个人脸图像；

根据所述人脸轮廓线集中至少一个人脸轮廓线对应人脸的姿势和/或表情，调整所述待处理人脸轮廓线，得到至少一个目标人脸轮廓线；

基于所述目标人脸轮廓线获得所述待处理人脸图像对应的人脸变更姿势和/或表情后的目标人脸图像。

可选地，所述人脸轮廓线包括脸型轮廓线和五官轮廓线；

所述人脸的姿势基于所述脸型轮廓线的角度和形状确定，包括以下至少一种：人脸朝向、人脸宽度、人脸俯仰角度、人脸长度；所述人脸的表情基于所述五官轮廓线的角度和形状确定，包括以下至少一种：喜、怒、哀、乐、惊讶、害怕。

可选地，所述分别对人脸图像集和待处理人脸图像进行轮廓线提取，获得人脸轮廓线集和待处理人脸轮廓线，包括：

基于编码器将所述人脸图像集中的至少一个人脸图像映射到隐空间，得到至少一个人脸轮廓线构成的人脸轮廓线集；

基于所述编码器将所述待处理人脸图像映射到隐空间，得到待处理人脸轮廓线。

可选地，所述分别对人脸图像集和待处理人脸图像进行轮廓线提取，获得人脸轮廓线集和待处理人脸轮廓线，包括：

基于关键点提取网络，分别对所述人脸图像集中的至少一个人脸图像和所述待处理人脸图像进行关键点提取，分别得到所述人脸图像对应的至少一组人脸关键点和所述待处理人脸图像对应的一组待处理人脸关键点；

连接每组所述人脸关键点得到至少一个人脸轮廓线，连接所述待处理人脸关键点得到待处理人脸轮廓线。

可选地，所述根据所述人脸轮廓线集中至少一个人脸轮廓线对应人脸的姿势和/或表情，调整所述待处理人脸轮廓线，得到至少一个目标人脸轮廓线，包括：

基于转换器，分别识别所述至少一个人脸轮廓线和所述待处理人脸轮廓线对应人脸的姿势和/或表情；

将所述待处理人脸轮廓线对应人脸的姿势和/或表情分别转换为所述人脸轮廓线对应人脸的姿势和/或表情，得到至少一个目标人脸轮廓线。

可选地，所述基于所述目标人脸轮廓线获得所述待处理人脸图像对应的人脸变更姿势和/或表情后的目标人脸图像，包括：