[发明专利]人脸图像属性编辑方法、装置及设备在审
申请号: | 202010326169.1 | 申请日: | 2020-04-23 |
公开(公告)号: | CN111563427A | 公开(公告)日: | 2020-08-21 |
发明(设计)人: | 宁欣;李卫军;许少辉;董肖莉 | 申请(专利权)人: | 中国科学院半导体研究所 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/34;G06K9/42;G06K9/46;G06T9/00 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 周天宇 |
地址: | 100083 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图像 属性 编辑 方法 装置 设备 | ||
本公开提供了一种人脸图像属性编辑方法,包括:S1,采用人脸图像样本集训练编码器,以使编码器输出所述人脸图像的特征向量;S2,将特征向量输入解码器获得重建人脸图像样本;S3,采用训练完成的编码器提取标签人脸的标签特征向量;S4,将标签特征向量与其对应的标签属性数据进行属性回归,获得每一标签属性的属性方向;S5,将待编辑人脸图像与编辑操作所对应的属性方向叠加获得编辑后的人脸图像。实现大规模的人脸属性编辑,大幅提升合成图像分辨率和属性编辑的准确率。另一方面,本公开还提供了一种人脸图像属性编辑装置及电子设备。
技术领域
本申请涉及人脸图像处理技术领域,尤其涉及一种人脸图像属性编辑方法、装置及设备。
背景技术
人脸属性编辑指的是在不改变输入图像身份和其他属性的情况下,实现目标属性的指向性修改,在数据扩充、影音娱乐、医美等行业具有广泛的应用前景。当前使用深度学习算法进行人脸编辑的方法主要有属性迁移和属性融合,两者大都基于生成对抗网络(GAN,Generative Adversarial Networks)。前者需要首先构建出源域和目标域的图像集,采用编码一解码结构的神经网络,在解码过程中添加目标域的监督信息,使合成的图像具有目标属性,以此来达到人脸编辑的目的,但为了获得属性操纵的特征表示,属性迁移的方向必须要经过空间池化或者下采样的步骤,不可逆低降低了空间分辨率和特征图的细节,导致生成图像的分辨率较低,另外,由于属性之间相互耦合,属性编辑的准确率也不高,例如,在修改输入图像的皮肤质量时,输出结果会更加倾向于女性化,在对输入图像添加胡须特征时,生成图像的特征会更倾向男性化等;后者首先提取输入的不同属性图像的特征向量,对特征进行线性插值,获得输入属性的中间状态,使用生成器,重建出目标属性的渐变图像,由于很难从特征向量中单独分离出目标属性的特征向量,风格混合的方式一般都会造成目标属性之外的区域发生变化,例如,将男性儿童和女性老人的特征进行加权,年龄属性在发生变化的同时,性别特征也会发生明显的变化。
发明内容
(一)要解决的技术问题
本公开提供了一种人脸图像属性编辑方法、装置及设备,至少解决以上技术问题。
(二)技术方案
本公开提供了一种人脸图像属性编辑方法,包括:S1,采用人脸图像样本集训练编码器,以使编码器输出所述人脸图像的特征向量;S2,将特征向量输入解码器获得重建人脸图像样本;S3,采用训练完成的编码器提取标签人脸的标签特征向量;S4,将标签特征向量与其对应的标签属性数据进行属性回归,获得每一标签属性的属性方向;S5,将待编辑人脸图像与编辑操作所对应的属性方向叠加获得编辑后的人脸图像。
可选地,步骤S4还包括对属性方向进行正交处理,使得不同属性方向之间相互垂直。
可选地,步骤S2之后还包括:计算重建人脸图像样本的像素损失和感知损失;不断迭代步骤S1和S2以使像素损失和感知损失小于预设值。
可选地,不断迭代步骤S1和S2过程中还包括增加所述编码器和解码器的网络层。
可选地,步骤S1之前还包括:筛选出具有标签属性的人脸图像组成所述人脸图像样本集;对人脸图像样本集进行预处理。
可选地,对人脸图像样本集进行预处理具体为:对人脸图像样本集中的人脸图像进行裁剪;对裁剪后的人脸图像进行对齐;将人脸图像放缩至预设大小。
可选地,采用人脸检测算法对所述人脸图像样本集中的人脸图像进行裁剪。
可选地,采用人脸特征点定位算法使所述裁剪后的人脸图像对齐。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院半导体研究所,未经中国科学院半导体研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010326169.1/2.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序