[发明专利]分辨率的调整方法、装置、电子设备及存储介质在审
申请号: | 202111186827.2 | 申请日: | 2021-10-12 |
公开(公告)号: | CN113837980A | 公开(公告)日: | 2021-12-24 |
发明(设计)人: | 赵娟萍 | 申请(专利权)人: | OPPO广东移动通信有限公司 |
主分类号: | G06T5/50 | 分类号: | G06T5/50;G06T3/40 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 李文静 |
地址: | 523860 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分辨率 调整 方法 装置 电子设备 存储 介质 | ||
1.一种分辨率的调整方法,其特征在于,所述方法包括:
将待处理的图像输入图像超分辨率模型,所述图像超分辨率模型包括时域特征提取网络、频域特征提取网络和特征融合网络;
通过所述时域特征提取网络,确定所述图像的时域特征图;
基于所述频域特征提取网络,确定所述图像的频域特征图;
基于所述特征融合网络,将所述时域特征图和所述频域特征图的图像特征加权融合,得到所述图像对应的目标图像,所述目标图像的分辨率大于所述图像。
2.根据权利要求1所述的方法,其特征在于,所述通过所述时域特征提取网络,确定所述图像的时域特征图,包括:
基于所述时域特征提取网络中的每个下采样模块,对输入至所述下采样模块的特征图进行下采样,得到多个第一特征图;
基于注意力机制,确定每个下采样模块对应的多个所述第一特征图的权重;
基于所述时域特征提取网络的第i个上采样模块,确定所述上采样模块对应的第二特征图的权重,其中,i为大于1的整数;
基于所述第二特征图的权重,对所述第二特征图进行上采样,直到第N个上采样模块完成上采样,得到多个第三特征图,其中,N为时域特征提取网络中上采样模块的数量;
将所述第N个上采样模块输出的多个第三特征图进行像素重置,得到所述时域特征图。
3.根据权利要求1所述的方法,其特征在于,所述基于所述频域特征提取网络,确定所述图像的频域特征图,包括:
基于所述频域特征提取网络中的每个下采样模块,对输入至所述下采样模块的特征图进行下采样,得到多个第四特征图;
基于注意力机制,确定每个下采样模块对应的多个所述第四特征图的权重;
基于所述频域特征提取网络中的第j个上采样模块,确定所述上采样模块对应的第五特征图的权重,其中,j为大于1的整数;
基于所述第五特征图的权重,对所述第五特征图进行上采样,直到第M个上采样模块完成上采样,得到多个第六特征图,其中,M为频域特征提取网络中上采样模块的数量;
将所述第M个上采样模块输出的多个第六特征图进行像素重置,得到所述频域特征图。
4.根据权利要求3所述的方法,其特征在于,所述基于所述频域特征提取网络中的每个下采样模块,对输入至所述下采样模块的特征图进行下采样,得到多个第四特征图,包括:
对于所述频域特征提取网络中的每个下采样模块,分别对输入至所述下采样模块的特征图进行下采样,得到第一下采样结果;
对所述第一下采样结果进行频域变换,得到第二下采样结果;
将所述第一下采样结果和所述第二下采样结果融合,得到第四特征图。
5.根据权利要求3所述的方法,其特征在于,所述基于所述第五特征图的权重,对所述第五特征图进行上采样,直到第M个上采样模块完成上采样,得到多个第六特征图,包括:
对于所述频域特征提取网络中的每个上采样模块,基于所述第五特征图的权重,分别对输入至所述上采样模块的第五特征图进行上采样,得到第一上采样结果;
对所述第五特征图进行逆频域变换,得到第二上采样结果;
将所述第一上采样结果和所述第二上采样结果融合,直到第M个上采样模块完成上采样,得到多个所述第六特征图。
6.根据权利要求1所述的方法,其特征在于,所述基于所述特征融合网络,将所述时域特征图和所述频域特征图的图像特征加权融合,得到所述图像对应的目标图像,包括:
基于所述特征融合网络,分别将所述时域特征图和所述频域特征图中对应像素点的像素值加权融合,得到所述目标图像。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于神经网络构建模型,确定所述时域特征提取网络;
基于所述时域特征提取网络,确定所述频域特征提取网络;
将所述时域特征提取网络的输出端和所述频域特征提取网络的输出端分别与特征融合网络连接,得到所述图像超分辨率模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于OPPO广东移动通信有限公司,未经OPPO广东移动通信有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111186827.2/1.html,转载请声明来源钻瓜专利网。