[发明专利]图像修复方法和装置有效
| 申请号: | 202110030992.2 | 申请日: | 2021-01-11 |
| 公开(公告)号: | CN112700388B | 公开(公告)日: | 2022-08-12 |
| 发明(设计)人: | 鲁继文;周杰;孙洪一 | 申请(专利权)人: | 清华大学 |
| 主分类号: | G06T5/00 | 分类号: | G06T5/00 |
| 代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 韩海花 |
| 地址: | 10008*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 图像 修复 方法 装置 | ||
1.一种图像修复方法,其特征在于,包括以下步骤:
S1,获取包括擦除部分区域的原始图片,并使用预设智能体对所述擦除部分区域进行分类处理,获取擦除区域类型概率图;
S2,获取所述擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中,获取局部图像修复结果,其中,所述自适应局部图像修复网络采用一系列并行的解码卷积网络对局部区域进行恢复,每一分支特定的针对某一种类型的遮盖方式进行恢复;
S3,根据所述局部图像修复结果和所述擦除区域类型概率图进行加权求和,获取局部修复结果,根据所述局部修复结果更新所述原始图片;
S4,重复执行步骤S1-S3,直到所述擦除部分区域完全修复,获取修复图像;
其中,原始图像和修复图像的相似度损失函数为:
LSIM=λperceptualLperceptual+λssimLSSIM+Lweightedl1 (1)
其中,Lperceptual,LSSIM和Lweightedl1分别为理解损失函数,结构相似度损失函数和加权L1损失函数,λ*为对应项的学习率权重系数;
所述使用预设智能体对所述擦除部分区域进行分类处理,获取擦除区域类型概率图中的结构相似度损失函数为:
Lmask=λcLc+λeLe (2)
其中,Lc和Le分别为局部一致性损失函数和交叉熵损失函数,λ*为对应项的学习率权重系数;
所述预设智能体使用卷积长短期记忆网络对所述原始图像进行特征的提取,并对历史操作信息进行存储,使用语义理解损失函数为:
R=-γT·LSIM(Igt,IT) (3)
其中,γ为衰减系数,Igt和IT分别为当前区域的真实结果和预测结 果。
2.如权利要求1所述的方法,其特征在于,所述使用预设智能体对所述擦除部分区域进行分类处理,获取擦除区域类型概率图,包括:
通过卷积网络对所述擦除部分区域的遮盖类型进行分类,获取所述擦除部分区域中各个点属于任一类型的概率值,获取擦除区域类型概率图。
3.如权利要求2所述的方法,其特征在于,所述获取所述擦除部分区域中的待修复目标区域,包括:
根据所述擦除区域类型概率图获取各个点的概率值;
根据所述各个点的概率值确定中心点,根据所述中心点确定所述待修复目标区域。
4.如权利要求1所述的方法,其特征在于,所述获取所述擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中,获取局部图像修复结果,包括:
根据所述待修复目标区域的类型确定目标解码网络;
通过所述目标解码网络对所述待修复目标区域进行处理,获取局部图像修复结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110030992.2/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序





