[发明专利]基于双向GAN网络的去雾方法及双向GAN网络模型在审
申请号: | 202011526195.5 | 申请日: | 2020-12-22 |
公开(公告)号: | CN114663291A | 公开(公告)日: | 2022-06-24 |
发明(设计)人: | 王中风;苏天祺;王美琪;陈思依;林军 | 申请(专利权)人: | 南京大学 |
主分类号: | G06T5/00 | 分类号: | G06T5/00;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/82 |
代理公司: | 北京弘权知识产权代理有限公司 11363 | 代理人: | 逯长明;许伟群 |
地址: | 210023 江苏省南京市栖*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 双向 gan 网络 方法 模型 | ||
1.一种基于双向GAN网络的去雾方法,其特征在于,所述去雾方法包括:
提取待去雾图片中不同像素对应的深度信息;
根据所述深度信息,对所述待去雾图片进行深度处理;
将深度处理后的待去雾图片输入至预先构建的双向GAN网络模型中,所述双向GAN网络模型包括输入模块、生成模块及判别模块;所述输入模块包括清晰图输入端口及雾图输入端口,所述生成模块包括第一生成单元及第二生成单元,所述判别模块包括第一判别器及第二判别器;所述清晰图输入端口、所述第一生成单元及所述第一判别器依次连接,用于针对清晰图进行特征提取及重建,所述雾图输入端口、所述第二生成单元及所述第二判别器依次连接,用于针对雾图进行特征提取及重建;所述第一生成单元包括依次连接的第一编码器、共享潜在空间及第一解码器,所述第二生成单元包括依次连接的第二编码器、所述共享潜在空间及第二解码器;所述共享潜在空间用于存储高层特征,并将所述高层特征输出至所述第一解码器及所述第二解码器,所述高层特征包括所述第一编码器针对清晰图提取的高层特征以及所述第二编码器针对雾图提取的高层特征;所述双向GAN网络模型的训练集及验证集中均包括成对的清晰图及雾图;
获取所述双向GAN网络模型输出的去雾图片。
2.根据权利要求1所述的基于双向GAN网络的去雾方法,其特征在于,所述提取待去雾图片中不同像素对应的深度信息,包括:
对所述待去雾图片进行格式转换,提取出所述待去雾图片的亮度和饱和度;
根据所述亮度和饱和度,生成所述待去雾图片中不同像素对应的深度信息。
3.一种双向GAN网络模型,其特征在于,所述双向GAN网络模型包括输入模块、生成模块及判别模块;
所述输入模块包括清晰图输入端口及雾图输入端口,所述生成模块包括第一生成单元及第二生成单元,所述判别模块包括第一判别器及第二判别器;
所述清晰图输入端口、所述第一生成单元及所述第一判别器依次连接,用于针对清晰图进行特征提取及重建,所述雾图输入端口、所述第二生成单元及所述第二判别器依次连接,用于针对雾图进行特征提取及重建;
所述第一生成单元包括依次连接的第一编码器、共享潜在空间及第一解码器,所述第二生成单元包括依次连接的第二编码器、所述共享潜在空间及第二解码器;
所述共享潜在空间用于存储高层特征,并将所述高层特征输出至所述第一解码器及所述第二解码器,所述高层特征包括所述第一编码器针对清晰图提取的高层特征以及所述第二编码器针对雾图提取的高层特征;
所述双向GAN网络模型的训练集及验证集中均包括成对的清晰图及雾图。
4.根据权利要求3所述的双向GAN网络模型,其特征在于,所述第一编码器及所述第二编码器分别包括依次连接的第一卷积块、第二卷积块及第一耦合残差块;
所述第一解码器及所述第二解码器分别包括依次连接的第二耦合残差块、第一步长卷积块及第二步长卷积块;
所述第一耦合残差块的输出端接至所述共享潜在空间的输入端,所述共享潜在空间的输出端接至所述第二耦合残差块的输入端;
所述第一卷积块的输出端跳变连接至所述第二步长卷积块的输入端;
所述第二卷积块的输出端跳变连接至所述第一步长卷积块的输入端。
5.根据权利要求4所述的双向GAN网络模型,其特征在于,所述第一耦合残差块及所述第二耦合残差块分别由多个子残差块级联组成;
任一级所述子残差块包括依次连接的第一卷积层、激活函数层及第二卷积层,用于处理上一级子残差块的输出结果以及上上一级子残差块的输出结果,并把处理结果输出至下一级子残差块以及下下一级子残差块。
6.根据权利要求3所述的双向GAN网络模型,其特征在于,所述第一判别器及所述第二判别器均包括三层判别网络及一层粒度判别网络,任一层所述判别网络包含三个卷积层和一个激活函数层。
7.根据权利要求3所述的双向GAN网络模型,其特征在于,所述双向GAN网络模型通过以下损失函数进行优化:生成对抗损失函数、MSE损失函数及总变分损失函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学,未经南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011526195.5/1.html,转载请声明来源钻瓜专利网。