[发明专利]一种基于代价敏感学习的人脸属性编辑方法

说明书

该发明公开了一种基于代价敏感学习的人脸属性编辑方法，属于计算机视觉领域。该方法首先选择使用生成对抗网络作为基本框架，在训练生成对抗网络时结合代价敏感学习的思想，分别为判别器和生成器的引入了具有代价敏感的损失函数，其中包含错分代价和错误编辑代价。引入错分代价的目的是为了让判别器能够不受不平衡的数据集的影响，公平的去区分每一个人脸属性，从而能够更好的指导生成器编辑人脸属性的效果。在训练好生成对抗网络后，通过往生成器中输入原始人脸图像和属性编辑向量即可得到编辑后的人脸图像。从训练公平性的角度出发，本发明充分利用了代价敏感学习和生成对抗网络的优势，提高了现有人脸属性编辑模型的属性编辑成功率。

技术领域

本发明属于计算机视觉领域，主要涉及真实世界中的人脸属性编辑的问题；主要应用于影视娱乐产业，人机交互以及机器视觉理解等方面。

背景技术

目前，影视娱乐，人机交互，计算机视觉等领域，对图像的生成与属性编辑的需求越来越大。例如：在角色扮演游戏中，玩家可以根据喜好控制参数生成人物头像；在早期教育中，可以根据文本生成匹配的图像，利用图像引导幼儿认识世界的多彩多样；在目前流行的短视频平台中，用户可以使用平台提供的图像编辑技术来修改视频中人脸的头发颜色，眼睛大小等属性，获得更有趣味性的使用体验。其中，人脸属性编辑的目的是操作给定人脸上的单个或多个属性，在保留其他细节的同时生成具有所需属性的新人脸图像。生成对抗网络(GAN,Generative Adversarial Networks)由于具有计算量小，生成图像质量高，模型构造简单等优点，通常被引用到人脸属性编辑任务当中。

近年来，许多基于GAN的人脸属性编辑模型被提出。AttGAN在GAN的基础上引入了编码器-解码器结构，以原始图像以及目标属性向量作为输入来控制GAN的生成器编辑图像，在人脸属性编辑任务上取得了良好的效果。参考文献：He,Z.,Zuo,W.,Kan,M.,Shan,S.,Chen,X.(2019).Attgan:Facial attribute editing by only changing what youwant.IEEE transactions on image processing,28(11),5464-5478.但由于编码器-解码器结构存在下采样操作，会不可避免地损失一些图片信息，造成编辑后的图像模糊和丢失细节。在AttGAN的基础上，STGAN将选择性转移单元融入编码器-解码器结构中，以同时提高属性操作能力和编辑后的图像质量。参考文献：Liu,M.,Ding,Y.,Xia,M.,Liu,X.,Ding,E.,Zuo,W.,Wen,S.(2019).STGAN:A unified selective transfer network for arbitraryimage attribute editing.In Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition(pp.3673-3682).

现存的人脸属性编辑方法主要通过改进模型结构以及损失函数来提升属性编辑的准确率和编辑图像的质量。但由于训练数据集的人脸属性分布不均匀，导致属性编辑的效果容易受到影响，例如CelebA数据集中的人脸具有秃头属性的情况十分少见，AttGAN、STGAN等经过该数据集训练的模型在修改人脸的秃头属性时都出现了编辑后人脸的秃头属性没有改动或编辑质量不佳的现象。

目前的深度学习模型大都是由数据驱动，所以数据的好坏直接影响了深度学习模型的性能。由于分布不平衡的数据集，例如数据集中的样本的类别，属性分布不均衡，造成的深度模型公平性问题，如对人的种族、性别、年龄等的歧视引起了广泛的社会争议。均衡数据集的不平衡，消除模型潜在的属性歧视，构建公平的深度模型是推动人工智能进一步得到广泛应用的关键环节。参考文献：Tan，S.，Shen，Y.，Zhou，B.(2020).Improving theFairness of Deep Generative Models without Retraining.arXiv preprint arXiv：2012.04842.