[发明专利]图像编辑方法、系统、电子设备、存储介质有效
申请号: | 202310640287.3 | 申请日: | 2023-06-01 |
公开(公告)号: | CN116363263B | 公开(公告)日: | 2023-10-27 |
发明(设计)人: | 张连海;曹朴;杨录;赵秋雨;王圣玉 | 申请(专利权)人: | 北京邃芒科技有限公司 |
主分类号: | G06T11/60 | 分类号: | G06T11/60;G06V10/77;G06V40/16;G06V10/74;G06V10/82;G06N3/0475;G06N3/094 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 梁军丽 |
地址: | 100081 北京市海淀区中关*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图像编辑 方法 系统 电子设备 存储 介质 | ||
1.一种图像编辑方法,其特征在于,所述方法包括:
获取待编辑图像和编辑向量,对所述待编辑图像进行预处理;
将预处理后的待编辑图像输入反演网络,所述反演网络输出对应的原始反演编码;
将所述编辑向量和所述原始反演编码结合,形成编辑后反演编码;
将所述编辑后反演编码输入生成式对抗网络的生成器,所述生成器输出编辑后图像;
其中,所述反演网络根据基于所述待编辑图像和所述编辑后图像的图像距离构建的损失函数进行训练。
2.根据权利要求1所述的图像编辑方法,其特征在于,对所述待编辑图像进行预处理,包括:
检测所述待编辑图像是否包括人脸,如果检测到所述待编辑图像包括人脸,则继续执行如下的步骤,如果检测到所述待编辑图像不包括人脸,则终止对所述待编辑图像的编辑;
对所述待编辑图像进行人脸关键点检测,获取多个关键点;
基于所述多个关键点,将所述待编辑图像输入人脸对齐模型,所述人脸对齐模型输出所述预处理后的待编辑图像。
3.根据权利要求1所述的图像编辑方法,其特征在于,所述反演网络包括残差网络和特征金字塔网络。
4.根据权利要求2所述的图像编辑方法,其特征在于,所述反演网络根据基于所述待编辑图像和所述编辑后图像的图像距离构建的损失函数进行训练,包括:
所述反演网络根据基于所述待编辑图像和所述编辑后图像的图像距离、以及所述预处理后的待编辑图像和所述编辑后图像的视觉距离构建的损失函数进行训练;
其中,所述视觉距离包括第一特征和第二特征之间的欧式距离,所述第一特征是将所述预处理后的待编辑图像输入VGG模型提取得到的,所述第二特征是将所述编辑后图像输入所述VGG模型提取得到的。
5.根据权利要求4所述的图像编辑方法,其特征在于,所述反演网络根据基于所述待编辑图像和所述编辑后图像的图像距离构建的损失函数进行训练,包括:
所述反演网络根据基于所述待编辑图像和所述编辑后图像的图像距离、所述预处理后的待编辑图像和所述编辑后图像的视觉距离以及所述预处理后的待编辑图像和所述编辑后图像的人脸相似距离构建的损失函数进行训练;
其中,所述人脸相似距离包括第三特征和第四特征之间的欧式距离,所述第三特征是将所述预处理后的待编辑图像输入人脸识别模型提取得到的,所述第四特征是将所述编辑后图像输入所述人脸识别模型提取得到的。
6.根据权利要求2所述的图像编辑方法,其特征在于,所述原始反演编码和所述生成式对抗网络具有相同数量的多个特征空间维度,所述反演网络在训练时的损失函数还包括所有所述维度上的所有特征距离之和,所述特征距离根据所述原始反演编码与所述生成式对抗网络的所述特征空间维度的仿射特征均值确定。
7.根据权利要求6所述的图像编辑方法,其特征在于,所述特征距离的获取包括:
基于所述生成式对抗网络,在标准多元正态分布中多次采样,将每次采样的所述生成式对抗网络每个所述特征空间维度对应的特征空间的向量输入所述生成器的仿射模块,所述仿射模块输出对应的仿射特征;
基于所述多次采样获取的多个所述仿射特征,计算得到所述仿射特征均值;
将所述仿射特征均值和所述原始反演编码的不相似度作为所述特征距离。
8.一种图像编辑系统,其特征在于,所述系统包括:
预处理模块,用于获取待编辑图像和编辑向量,对所述待编辑图像进行预处理;
反演模块,用于将预处理后的待编辑图像输入反演网络,所述反演网络输出对应的原始反演编码;
编辑模块,用于将所述编辑向量和所述原始反演编码结合,形成编辑后反演编码;
生成模块,用于将所述编辑后反演编码输入生成式对抗网络的生成器,所述生成器输出编辑后图像;
其中,所述反演网络根据基于所述待编辑图像和所述编辑后图像的图像距离构建的损失函数进行训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邃芒科技有限公司,未经北京邃芒科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310640287.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:户用分布式储能电池消防控制方法、装置
- 下一篇:一种医学检验匀浆装置