[发明专利]超分修复网络模型生成方法、图像超分修复方法及装置在审
申请号: | 202110459814.1 | 申请日: | 2021-04-27 |
公开(公告)号: | CN113177888A | 公开(公告)日: | 2021-07-27 |
发明(设计)人: | 孙佳;袁泽寰;王长虎 | 申请(专利权)人: | 北京有竹居网络技术有限公司 |
主分类号: | G06T5/00 | 分类号: | G06T5/00;G06T3/40;G06N3/04;G06N3/08 |
代理公司: | 北京信远达知识产权代理有限公司 11304 | 代理人: | 姚莹丽 |
地址: | 101299 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 修复 网络 模型 生成 方法 图像 装置 | ||
1.一种超分修复网络模型生成方法,其特征在于,所述方法包括:
获取待训练图像,所述待训练图像为低分变率图像;
将所述待训练图像分别输入学生网络模型和教师网络模型,获得所述学生网络模型对应的损失函数;
根据所述损失函数对所述学生网络模型的参数进行更新,以使得所述学生网络模型的损失函数满足预设条件,生成超分修复网络模型;
所述学生网络模型为增强型超分辨生成对抗网络ESRGAN,所述ESRGAN网络包括基本模块、上采样模块以及卷积模块,所述基本模块包括一个或多个残差密度模块RRDB,所述RRDB包括多个处理模块,每个所述处理模块的输入作为后续的处理模块的输入,所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层,所述第一卷积层的卷积核小于所述第二卷积层的卷积核。
2.根据权利要求1所述的方法,其特征在于,所述第一卷积层的卷积核为1*1。
3.根据权利要求1或2所述的方法,其特征在于,所述基本模块包括一个RRDB模块。
4.根据权利要求1或2所述的方法,其特征在于,所述卷积模块包括第三卷积层,所述第三卷积层的卷积核等于所述第一卷积层的卷积核。
5.根据权利要求1所述的方法,其特征在于,所述将所述待训练图像分别输入学生网络模型和教师网络模型,获得所述学生网络模型对应的损失函数,包括:
将所述待训练图像分别输入学生网络模型和教师网络模型,以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数;
根据所述第一损失函数和所述第二损失函数获得所述学生网络模型对应的损失函数。
6.根据权利要求1所述的方法,其特征在于,所述将所述待训练图像分别输入学生网络模型和教师网络模型,获得所述学生网络模型对应的损失函数,包括:
将所述待训练图像分别输入学生网络模型和教师网络模型,以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数以及判别器对应的第三损失函数;
对所述第一损失函数、第二损失函数以及第三损失函数进行加权,获得所述学生网络模型对应的损失函数。
7.根据权利要求5或6所述的方法,其特征在于,所述第一损失函数表示所述学生网络模型针对所述待训练图像中第一像素的输出结果与所述教师网络模型针对所述待训练图像中所述第一像素的输出结果之间的损失函数;所述第二损失函数表示所述学生网络模型针对所述待训练图像的输出结果与所述教师网络模型针对所述待训练图像的输出结果之间的损失函数;第三损失函数表示所述学生网络模型对应的判别器与所述教师网络模型对应的判别器之间的损失函数,所述第一像素为所述待训练图像中的任一像素。
8.根据权利要求1所述的方法,其特征在于,在将所述待训练图像分别输入学生网络模型之前,所述方法还包括:
将所述待训练图像分别输入初始网络模型和教师网络模型,以获得像素蒸馏对应的第四损失函数;
根据所述第四损失函数对所述初始网络模型的参数进行更新,以获得学生网络模型。
9.根据权利要求8所述的方法,其特征在于,所述第四损失函数表示所述初始网络模型针对所述待训练图像中第二像素的输出结果与所述教师网络模型针对所述待训练图像中所述第二像素的输出结果之间的损失函数,所述第二像素为所述待训练图像中的任一像素。
10.一种图像超分修复方法,其特征在于,所述方法包括:
获取待处理图像,所述待处理图像为低分辨率图像;
将所述待处理图像输入超分修复网络模型,获得目标图像,所述目标图像为所述待处理图像对应的超分辨率图像,所述超分修复网络模型是根据权利要求1-9任一项所述的方法训练生成的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京有竹居网络技术有限公司,未经北京有竹居网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110459814.1/1.html,转载请声明来源钻瓜专利网。