[发明专利]图像修复方法

说明书

本发明公开了图像修复方法，涉及图像处理领域，包括：将待修复图像输入图像修复神经网络进行处理获得修复后的图像；图像修复神经网络包括：粗修复子网络，用于对待修复图像进行整体修复处理，获得粗修复图像；特征子网络，用于从粗修复图像中提取目标特征，获得第一特征向量图；分割子网络，用于从粗修复图像中提取所述目标的各个部件图像，获得所述目标的分割图；关键点子网络，用于从粗修复图像中提取获得关键点坐标，基于关键点坐标获得关键点图；精修复子网络，用于将第一特征向量图、分割图和关键点图进行融合，获得修复处理后的图像；本发明着眼于图像超分辨率重建中对目标局部细节的修复效果，能够提升目标局部细节的修复效果。

技术领域

本发明涉及图像处理领域，具体地，涉及图像修复方法。

背景技术

数字图像超分辨率重建任务的目的是改善图像的质量，以人为对象，改善人的视觉效果，是采用软件算法的方式，由一帧或多帧图像重建转化成更高分辨率图像或视频的技术。由于技术工艺、成本或拍摄状态等因素的限制，导致成像过程中图像上会出现噪声，模糊等情况，而导致图像退化。而图像超分辨率重建算法能够适当的、灵活的增加成像后图像的质量，并且在军事应用，医学分析，公共安全等多个领域发挥了重要的作用。在数字图像超分辨率重建的任务中，输入的是质量低（低分辨率）的图像，输出的是改善质量后（高分辨率）的图像。

图像超分辨率重建理论最初于20世纪60年代提出，经过多年的发展，其理论体系已经逐渐成熟。基于图像超分辨重建算法主要有以下体系：（1）基于非均匀空间样本插值方法，对低分辨率图像采用运动补偿和内插的方法合成一帧高分辨率图像；（2）基于滤波的方法，使用滤波器对低分辨率图像进行重建；（3）基于迭代反向投影方法，对高分辨率图像进行投影到低分辨率图像空间中的低分辨率图像进行估计，计算高分辨率图像与低分辨率图像之间的误差，从而最小化误差。（4）基于统计复原方法，设定一个多重参考的先验模型，设计有效步骤，使得复原后的超分辨率图像的后验概率最大。以上的方法或多或少都存在一定问题。基于非均匀空间样本插值方法限定了低分辨图像中存在的噪声类型相同；基于滤波的方法鲁棒性不够；基于迭代反向投影方法修复结果不唯一，且过程复杂；基于统计复原方法比较理想，但先验模型比较难以获得。

近年来随着深度学习的发展，基于深度学习的方法在图像超分辨率重建领域大放异彩，该方法构造深度神经网络，通过学习逼近重建后图像的样本分布与高分辨率图像样本之间的距离，有着很好的效果。但是以上的方法都是为了在图像整体的视觉效果上给人一种清晰的感觉，对于图像中物体的局部细节的修复效果欠佳。

发明内容

由于现有的图像超分辨率重建方法修复更倾向于图像整体的修复效果，对于特定目标的局部细节修复效果欠佳，本发明着眼于图像超分辨率重建中对目标局部细节的修复效果，能够在一定程度上提升目标局部细节的修复效果。

为实现上述发明目的，本发明提供了图像修复方法，所述方法包括：将待修复图像输入图像修复神经网络，利用所述图像修复神经网络对所述待修复图像进行处理，获得修复后的图像；

所述图像修复神经网络包括：

粗修复子网络，所述粗修复子网络用于对所述待修复图像进行整体修复处理，获得粗修复图像；

特征子网络，所述特征子网络用于从所述粗修复图像中提取目标特征，获得第一特征向量图；

分割子网络，所述分割子网络用于从所述粗修复图像中提取所述目标的各个部件图像，获得所述目标的分割图；

关键点子网络，所述关键点子网络用于从所述粗修复图像中提取获得关键点坐标，基于所述关键点坐标获得关键点图；

精修复子网络，所述精修复子网络用于将所述第一特征向量图、所述分割图和所述关键点图进行融合，获得修复处理后的图像。