[发明专利]一种基于分治融合的高清人脸属性编辑方法

说明书

本发明公开了一种基于分治融合的高清人脸属性编辑方法，属于计算机视觉领域。该方法提出了一个包含低清人脸编辑网络与高清人脸图像融合网络的人脸属性编辑框架。先对原始高分辨率图像进行下采样后得到低分辨率的人脸图像，在低清人脸编辑网络中对低分辨率的人脸图像进行属性编辑后上采样至原大小；在高清人脸图像融合网络中对原始高分辨率图像与上采样的人脸图像进行切片，利用双通道编码器编码，再与属性差值向量融合，之后在解码器中解码得到结果切片，最后按位置拼接得到高清人脸图像。本发明提出的高清人脸属性编辑方法被验证具有较高的图像生成效率且生成的图像具有较高质量。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于分治融合的高清人脸属性编辑方法。

背景技术

人脸属性(如肤色，胡子，刘海)是人脸的一个的重要特征。人脸属性编辑的主要目的是用新属性更新替换人脸的旧属性，是一个很广的应用领域，不仅可以用于辅助其他诸如人脸识别等相关的任务，也可以独立成若干新的任务，在人机交互，娱乐社交领域有广泛应用，传统的人脸识别和人脸属性预测任务。不同于低分辨率人脸图像编辑的巨大成功，针对高分辨率的图像的人脸属性编辑研究的较少。

现有的人脸编辑方法如STGAN，随着图片分辨率的线性增加，其显存消耗的增长模式明显快于线性增长。此外，不同分辨率图像使用的框架往往是一样的，而在实际应用中，对于更高分辨率的图像来言更深的网络是不可或缺的，因此，显存消耗的增长实际上会更严重，甚至达到指数增长，因此在一些移动场景(如智能手机、AR/VR眼镜)中，由于计算和内存资源有限，往往导致编辑的效果的不理想甚至无法进行编辑。因此，开发一套适合高分辨率图片的属性编辑网络显得十分必要。

发明内容

本发明的目的在于针对现有技术中对于处理高分辨率人脸图片时计算和内存资源耗尽的问题，提供一种基于分治融合的高清人脸属性编辑方法。

本发明的目的是通过以下技术方案来实现的：

步骤一：利用低清人脸编辑网络对下采样后的原始高清人脸图像进行第一次人脸属性编辑，再将编辑后的人脸图像上采样恢复至原始尺寸；

步骤二：将原始高清人脸图像与步骤一获得的上采样后的低清人脸编辑后的图像做相同切片，将相同位置的切片差与低清人脸编辑后的图像切片输入高清人脸融合网络中进行第二次人脸属性编辑；

所述的高清人脸融合网络包括双通道多层编码器和单通道多层解码器，所述的相同位置的切片差与低清人脸编辑后的图像切片在双通道多层编码器中分别编码，编码结果按通道相加并与属性差值向量融合，再输入到单通道多层解码器中进行解码，得到第二次人脸属性编辑后的切片；所述的属性差值向量是由人脸图像的目标属性向量和源属性向量作差得到的；

步骤三、将高清人脸融合网络输出的切片结果按位置拼接，得到最终的含新属性的人脸图像。

本发明的有益效果是，解决了现有人脸属性编辑模型因尺寸过大而只能处理低分辨率人脸图像的问题，在大大降低显存消耗的同时，也保证了属性编辑后的人脸图像拥有高分辨率，有利于搭载至计算和内存资源有限的设备。

附图说明

图1是基于注意力机制的低清人脸编辑网络框架基本结构图。

图2是基于分治融合的高清人脸编辑网络框架基本结构图。

图3是加权平均融合方法的示意图。

图4是本方法的实际应用效果图

具体实施方式

下面根据附图详细说明本发明。