[发明专利]一种图像重建方法及相关装置

说明书

本申请公开了一种图像重建方法，可以实现在电子设备接收到用户的拍摄操作之前，也即是拍摄预览时，对预览图像进行预处理，以及从磁盘加载高清纹理字典库至运行内存中。在接收到用户的拍摄操作后，电子设备可以利用已加载在运行内存中的高清纹理字典库拍摄到的低清图像中进行超分修复，得到高清图像。这样，可以减少电子设备在拍照后对拍摄到的低清图像进行超分修复的时间。

技术领域

本申请涉及计算机视觉领域，尤其涉及一种图像重建方法及相关装置。

背景技术

智能手机等电子设备发展至今，拍照已然成为其最为重要的特性之一。无论是基础成像器件还是成像算法，均产生了极大的发展和变化，一次有一次地推动了手机拍照的变革，提升了用户拍照体验。由于电子设备拍摄环境、硬件条件、图像压缩等因素的影响，电子设备获取到的图像往往存在视觉效果较差、分辨率较低、含有噪声或反光等情况，通常需要对获取到的图像进行重建以获得更高质量的图像。

当前，电子设备上通常采用基于深度学习的图像重建方法。例如，利用超分辨率重建生成式对抗网络(super-resolutiongenerativeadversarialnetworks，SRGAN)、增强型超分辨率重建生成式对抗网络(super-resolutiongenerativeadversarialnetworks，ESRGAN)、宽泛激活的高效准确图像超分辨率重建(wideactivationforefficientandaccurateimagesuper-resolution，WDSR)等方法对单帧图像进行超分重建处理。又例如，利用基于生成对抗网络的网络模型在拍摄图像中的去玻璃反光或去眼睛反光。又例如，基于卷积生成网络(convolutional neural networks，CNN)的多帧超分、去噪处理等。这些处理模型参数众多，电子设备加载这些模型时耗时较长，电子设备在拍摄后需要等待较长时间才能超分重建出高清图像。因此，部署这些模型在电子设备上往往需要进行压缩量化，变成小模型后再进行微调进一步优化等，但是随者处理模型的减小，处理模型效果也往往随之减弱，很难找到一个处理速度快并且效果有较好的处理模型。

发明内容

本申请提供了一种图像重建方法及相关装置，可以实现在拍摄预览过程中利用预览图像流，加载超分过程需要用到的高清纹理字典库到内存中，并在拍摄到图像对拍摄到的图像进行图像重建，快速提高图像的分辨率。

第一方面，本申请提供了一种图像重建方法，包括：电子设备显示拍摄预览界面，拍摄预览界面上显示有拍摄键和摄像头实时采集的预览图像流；该电子设备检测出该预览图像流中包括指定目标内容，该指定目标内容的类型为第一类型；该电子设备从该多个不同拍摄目标类别的字典库中确定出第一类型对应的第一字典库，并将该第一字典库从该磁盘加载至运行内存中，其中，该多个不同拍摄目标类型的高清纹理字典库存储在该电子设备的磁盘中；在该第一字典库被加载至该运行内存后，该电子设备接收第一输入；响应于该第一输入，该电子设备获取该摄像头采集的低清图像；该电子设备通过该运行内存中加载的该第一字典库，对该低清图像进行处理，得到高清图像，该高清图像中该指定目标内容的分辨率大于该低清图像中该指定目标内容的分辨率。

通过本申请提供的一种图像重建方法，可以实现在电子设备接收到用户的拍摄操作之前，也即是拍摄预览时，对预览图像进行预处理，以及加载字典库至运行内存(RAM)中。在接收到用户的拍摄操作后，电子设备可以利用已加载在运行内存中的字典库对拍摄到的低清图像中进行超分修复，得到高清图像。这样，可以减少电子设备在拍照后对拍摄到的低清图像进行超分修复的时间。

在一种可能的实现方式中，该电子设备通过该运行内存中加载的该第一字典库，对该低清图像进行处理，得到高清图像，具体包括：该电子设备从该运行内存中加载的该第一字典库，匹配出该低清图像对应的第一高清纹理特征；该第一字典库中包括有同一拍摄目标类别的高清纹理特征；该电子设备将该第一高清纹理特征，融合至该低清图像中，得到该高清图像。