[发明专利]一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法有效
| 申请号: | 202110380519.7 | 申请日: | 2021-04-09 | 
| 公开(公告)号: | CN113240580B | 公开(公告)日: | 2022-12-27 | 
| 发明(设计)人: | 李展;钟子意;陆晋晖;陈彦全;曾健梁 | 申请(专利权)人: | 暨南大学 | 
| 主分类号: | G06T3/40 | 分类号: | G06T3/40;G06T7/10;G06N3/04;G06N3/08 | 
| 代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 郑秋松 | 
| 地址: | 510632 广东*** | 国省代码: | 广东;44 | 
| 权利要求书: | 查看更多 | 说明书: | 查看更多 | 
| 摘要: | |||
| 搜索关键词: | 一种 基于 多维 知识 蒸馏 轻量级 图像 分辨率 重建 方法 | ||
1.一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法,其特征在于,包括下述步骤:
教师网络预处理;
数据集预处理:将数据集中低分辨率图片进行数据增强、转换格式并随机裁剪,生成低分辨率图像训练集;
构建学生网络,将所述低分辨率图像训练集输入所述学生网络中,输出学生网络重建的超分辨率图像;
将所述低分辨率图像训练集输入多个教师网络中,输出重建的超分辨率图像组,所述超分辨率图像组包括指标性教师超分辨率图像和感知性教师超分辨率图像;
多教师网络由两种教师网络构成,分别是:指标性教师网络、感知性教师网络,指标性教师网络为已训练好的残差特征蒸馏网络,感知性教师网络为已训练好的边缘增强超分网络;
将学生网络重建的超分辨率图像与指标性教师超分辨率图像进行像素级比对,计算L1损失;
将学生网络重建的超分辨率图像与感知性教师超分辨率图像分别通过VGG19网络后得到的特征图进行像素级比对,计算感知损失;
将感知损失和L1损失按比例计算出总损失,总损失作为网络训练误差,更新迭代训练后得到最终的学生网络模型;
将低分辨率图像输入到训练后的学生网络模型,输出最终重建的超分辨率图像。
2.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法,其特征在于,所述教师网络包括;残差特征蒸馏网络和边缘增强超分网络。
3.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法,其特征在于,所述构建学生网络,所述学生网络采用渐进式的并发卷积网络结构,通过卷积的形式,控制特征图的输入输出通道数进行通道分割实现知识蒸馏的操作。
4.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法,其特征在于,所述将所述低分辨率图像训练集输入所述学生网络中,所述低分辨率图像训练集输入到第一卷积层提取低分辨率图像的粗特征,卷积后经过多个残差特征蒸馏块提取低分辨率图像的细粒度级别的特征,各个残差特征蒸馏块提取后的特征经过第二卷积层整合及第三卷积层平滑特征;
平滑后细粒度级别的特征与低分辨率图像的粗特征通过第四卷积层整合,并经过亚像素卷积放大图像,输出学生网络重建的超分辨率图像。
5.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法,其特征在于,将感知损失和L1损失按比例计算出总损失,具体表示为:
Ltotal=α1L1+α2Lp
其中,α1和α2表示教师网络的损失权重,L1表示L1损失,Lp表示感知损失,I为低分辨率图像,Y为与I对应的高分辨率图像,f(.)为生成模型,g(.)为VGG19神经网络模型,W、H和C分别为低分辨率图像I和Y的宽、高和通道数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于暨南大学,未经暨南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110380519.7/1.html,转载请声明来源钻瓜专利网。





