[发明专利]一种基于通道注意力和自监督约束的服装解析方法及系统有效
申请号: | 202110226332.1 | 申请日: | 2021-03-01 |
公开(公告)号: | CN112927236B | 公开(公告)日: | 2021-10-15 |
发明(设计)人: | 项欣光;左成婷;张冬 | 申请(专利权)人: | 南京理工大学 |
主分类号: | G06T7/10 | 分类号: | G06T7/10;G06N3/04;G06N3/08 |
代理公司: | 北京高沃律师事务所 11569 | 代理人: | 杜阳阳 |
地址: | 210094 江苏省南*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 通道 注意力 监督 约束 服装 解析 方法 系统 | ||
1.一种基于通道注意力和自监督约束的服装解析方法,其特征在于,所述方法包括:
获取服装图片数据集,所述服装图片数据集中包括和各服装图片对应的服装解析图;
将所述服装图片数据集中各所述服装图片输入神经网络,所述神经网络包括通道注意力模块;
基于所述通道注意力模块,对输入的所述服装图片进行多次图像特征提取,获得各所述服装图片的输出特征图;
基于强监督约束和自监督约束,对所述神经网络进行迭代训练,获得训练好的神经网络模型;所述强监督约束为各服装图片对应的服装解析图对所述输出特征图的强监督约束,所述自监督约束为所述神经网络中各次解码输出数据中高层输出对低层输出的自监督约束;
将待解析服装图片输入所述训练好的神经网络模型中,输出服装解析图;
所述基于所述通道注意力模块,对输入的所述服装图片进行多次图像特征提取,获得各所述服装图片的输出特征图,具体包括:
将所述图像特征提取重复7次得到第一编码输出数据,I=ψencoder1(A)=ρ7(ρ6(ρ5(ρ4(ρ3(ρ2(ρ1(A))))))),其中I表示第一编码输出数据,ψencoder1表示所述第一编码输出数据的获取过程,ρi′表示第i′次重复,i′∈{1,2,3,4,5,6,7},A表示所述服装图片数据集中所述服装图片;
将所述第一编码输出数据进行下采样得到第一下采样编码输出数据;
将所述图像特征提取重复6次得到第二编码输出数据,J=ψencoder2(I′)=ρ6(ρ5(ρ4(ρ3(ρ2(ρ1(I′)))))),其中J表示第二编码输出数据,ψencoder2表示所述第二编码输出数据的获取过程,I′表示第一下采样编码输出数据;
将所述第二编码输出数据进行下采样得到第二下采样编码输出数据;
将所述图像特征提取重复5次得到第三编码输出数据,K=ψencoder3(J′)=ρ5(ρ4(ρ3(ρ2(ρ1(J′))))),其中K表示第三编码输出数据,ψencoder3表示所述第三编码输出数据的获取过程,J′表示第二下采样编码输出数据;
将所述第三编码输出数据进行下采样得到第三下采样编码输出数据;
将所述图像特征提取重复4次得到第四编码输出数据,L=ψencoder4(K′)=ρ4(ρ3(ρ2(ρ1(K′)))),其中L表示第四编码输出数据,ψencoder4表示所述第四编码输出数据的获取过程,K′表示第三下采样编码输出数据;
将所述第四编码输出数据进行下采样得到第四下采样编码输出数据;
将所述图像特征提取重复4次得到第五编码输出数据,M=ψencoder5(L′)=ρ4(ρ3(ρ2(ρ1(L′)))),其中M表示第五编码输出数据,ψencoder5表示所述第五编码输出数据的获取过程,L′表示第四下采样编码输出数据;
将所述第五编码输出数据进行下采样得到第五下采样编码输出数据;
将所述图像特征提取重复4次得到第六编码输出数据N=ψencoder6(M′)=ρ4(ρ3(ρ2(ρ1(M′)))),其中N表示第六编码输出数据,ψencoder6表示所述第六编码输出数据的获取过程,M′表示第五下采样编码输出数据;
将所述第六编码输出数据进行上采样得到第六上采样编码输出数据;
将所述图像特征提取重复4次得到第五解码输出数据,O=ψdecoder5(N′,M)=ρ4(ρ3(ρ2(ρ1(concat(N′,M))))),其中O表示第五解码输出数据,ψdecoder5表示所述第五解码输出数据的获取过程,concat()表示通道融合,N′表示第六上采样编码输出数据;
将所述第五解码输出数据进行上采样得到第五上采样编码输出数据;
将所述图像特征提取重复4次得到第四解码输出数据,P=ψdecoder4(O′,L)=ρ4(ρ3(ρ2(ρ1(concat(O′,L))))),其中P表示第四解码输出数据,ψdecoder4表示所述第四解码输出数据的获取过程,O′表示第五上采样编码输出数据;
将所述第四解码输出数据进行上采样得到第四上采样编码输出数据;
将所述图像特征提取重复5次得到第三解码输出数据,Q=ψdecoder3(P′,K)=ρ5(ρ4(ρ3(ρ2(ρ1(concat(P′,K)))))),其中Q表示第三解码输出数据,ψdecoder3表示所述第三解码输出数据的获取过程,P′表示第四上采样编码输出数据;
将所述第三解码输出数据进行上采样得到第三上采样编码输出数据;
将所述图像特征提取重复6次得到第二解码输出数据,R=ψdecoder2(Q′,J)=ρ6(ρ5(ρ4(ρ3(ρ2(ρ1(concat(Q′,J))))))),其中R表示第二解码输出数据,ψdecoder2表示所述第二解码输出数据的获取过程,Q′表示第三上采样编码输出数据;
将所述第二解码输出数据进行上采样得到第二上采样编码输出数据;
将所述图像特征提取重复7次得到第一解码输出数据,S=ψdecoder1(R′,I)=ρ7(ρ6(ρ5(ρ4(ρ3(ρ2(ρ1(concat(R′,I)))))))),其中S表示第一解码输出数据,ψdecoder1表示所述第一解码输出数据的获取过程,R′表示第二上采样编码输出数据;
将第六编码输出数据、第五解码输出数据、第四解码输出数据、第三解码输出数据、第二解码输出数据和第一解码输出数据均上采样到与所述服装图片相同的尺寸,分别计为第六编码输出上采样数据、第五解码输出上采样数据、第四解码输出上采样数据、第三解码输出上采样数据、第二解码输出上采样数据和第一解码输出上采样数据;
采用通道融合第六编码输出上采样数据、第五解码输出上采样数据、第四解码输出上采样数据、第三解码输出上采样数据、第二解码输出上采样数据和第一解码输出上采样数据,得到融合数据;
采用设定卷积对所述融合数据进行卷积操作,获得所述服装图片的输出特征图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京理工大学,未经南京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110226332.1/1.html,转载请声明来源钻瓜专利网。