[发明专利]一种基于解纠缠网络的服装图像生成系统和方法在审
| 申请号: | 202110304774.3 | 申请日: | 2021-03-22 |
| 公开(公告)号: | CN113052230A | 公开(公告)日: | 2021-06-29 |
| 发明(设计)人: | 张建明;宋阳;王志坚 | 申请(专利权)人: | 浙江大学 |
| 主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08;G06Q30/06 |
| 代理公司: | 杭州浙科专利事务所(普通合伙) 33213 | 代理人: | 孙孟辉 |
| 地址: | 315400 浙江省宁波市余*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 纠缠 网络 服装 图像 生成 系统 方法 | ||
1.一种基于解纠缠神经网络的服装图像生成方法,其特征在于,包括以下步骤:
S101、获取多张带有类别标签的服装图像;
S102、获取服装图像的颜色标签,并与服装类别标签进行级联;
S103、训练解纠缠神经网络,初始化所述解纠缠神经网络的解纠缠生成器参数和判别器网络参数;
S104、将所述级联后的标签输入所述解纠缠神经网络,判别真实图像和解纠缠生成器生成的服装图像;
S105、根据判定值和输出服装图像,对解纠缠网络参数进行调整优化。
2.如权利要求1所述的一种基于解纠缠神经网络的服装图像生成方法,其特征在于,所述服装图像的类别标签和颜色标签均采用独热编码的方法获得,其中,服装图像颜色的分类采用OpenCV工具将服装图像的RGB模型转化为HSV模型。
3.如权利要求1所述的一种基于解纠缠神经网络的服装图像生成方法,其特征在于,所述步骤S103具体包括:
S103_1,训练解纠缠神经网络,所述解纠缠神经网络为条件式对抗网络,包括解纠缠生成器G和多级判别器D,解纠缠生成器提取出服装图像的样式特征后生成图片,多级判别器对真实图片与生成图片进行判别,解纠缠神经网络的输入是服装图像的类别标签lclass、颜色标签lcolor和随机噪声变量z,解纠缠生成器输出G(z,(lclass,lcolor)),多级判别器输出log(G(z,(lclass,lcolor)))和log(Ireal),分别对应多级判别器对生成图片和真实图片的判别结果,Ireal是真实服装图像和其标签的级联;
训练时的总体目标函数为:即总的GAN损失函数为:
其中的,分别是服从真实分布和解纠缠生成器生成分布的判别结果期望,分别是判别器最小化解纠缠生成器生成分布判别期望和最大化真实分布判别期望的训练过程,ltrue、xtrue、l分别表示真实服装图像的标签、真实服装图像、生成服装图像的标签;
S103_2,对解纠缠生成器和多级判别器的所有网络层都进行谱归一化,所有网络层的权重初始化都服从高斯分布,均值为0,方差为1。
4.如权利要求3所述的一种基于解纠缠神经网络的服装图像生成方法,其特征在于,所述多级判别器由局部判别器和全局判别器组成,局部判别器和全局判别器分别在两个不同的尺度上对真实图片和生成图片进行下采样区分,最终采样的结果进行组合,得到多级判别器的判别结果。
5.如权利要求3所述的一种基于解纠缠神经网络的服装图像生成方法,其特征在于,所述多级判别器的生成图像中间特征输出与真实图像中间特征输出相匹配,特征匹配损失函数为:
其中T并表示总的网络层数,Ni表示每一层网络中的元素数量,Dk代表子判别器,作为特征提取器,仅仅在训练解纠缠生成器时进行最小化特征匹配损失
6.如权利要求3所述的一种基于解纠缠神经网络的服装图像生成方法,其特征在于,所述解纠缠生成器由映射网络ω和渐进式生成网络Gprogress组成,所述映射网络ω由全连接网络层组成,输入随机噪声和标签编码至中间潜空间,输出中间潜码ψ=(ψstyle,ψbias)控制自适应实例归一化层的参数,归一化函数为:其中每一个特征图xi分别进行归一化操作,所述特征图被中间潜码ψ缩放ψstyle倍并加上偏置量ψbias;渐进式生成网络Gprogress是带有自适应实例归一化层的卷积模块,所述卷积模块采用线性插值法进行上采样,放大倍数为2,输入是中间潜码和随机高斯噪声,所添加的噪声服从高斯分布,其均值为0,方差为1,最后通过一个卷积核为1的卷积层将输出转换为RGB图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大学,未经浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110304774.3/1.html,转载请声明来源钻瓜专利网。





