[发明专利]一种基于卷积神经网络CNN的三片简单透镜图像复原方法

说明书

技术领域

本发明涉及一种图像复原领域，具体指一种基于卷积神经网络CNN的三片简单透镜图像复原方法。

背景技术

近年来，简单透镜计算成像逐渐成为图像复原领域一个新的研究方向。简单透镜计算成像旨在利用前端尽可能简单的光学镜头结构结合后期图像计算方法，得到与单反相机等高端相机近似的成像质量。简单透镜计算成像能极大地降低镜头的光学设计成本，在图像复原和光学设计领域都具有重要的研究价值。

简单透镜的镜头通常只包含一片、两片或者三片镜片，前端光学结构简单，所以成像过程中镜片自身的像差和色差会导致图像模糊。目前简单透镜计算成像的主要方法是由盲卷积图像复原直接得到清晰图像，或者首先估计出简单透镜的模糊核，即点扩散函数PSF(Point Spread Function)，然后再利用非盲卷积图像复原方法得到清晰图像。专利ZL.201510223789.1公开了一种基于图像颜色平缓变化先验的单透镜计算成像方法，首先用盲卷积图像复原方法结合图像颜色平缓变换先验估计出单透镜的PSF，然后利用非盲卷积图像复原方法得到最终的清晰图像。现有方法的主要缺点在于：(1)无论是盲卷积还是非盲卷积图像复原方法都需要大量迭代优化过程，图像处理计算时间长；(2)为提高图像复原精度，一般先要估计出单透镜的PSF，再单独进行图像复原处理，整个图像处理过程比较复杂；(3)即使已经估计出PSF，每张模糊图像仍需要进行非盲卷积算法处理，不利于简单透镜计算成像在实际中处理大量图像。

三片简单透镜相对于只包含一片或者两片镜片的简单透镜，其成像精度较好，而且整幅图像中图像模糊程度的空间变化性不大，目前三片简单透镜更有实际应用价值，但是也存在上述简单透镜计算成像的缺点，因此，为了使三片简单透镜更好地在实际中应用，设计快速方便的针对三镜片简单透镜的计算成像方法，是简单透镜计算成像急需解决的问题。

发明内容

本发明为克服上述情况不足，旨在提供一种基于卷积神经网络CNN的三片简单透镜图像复原方法，避免传统简单透镜计算成像方法中复杂的迭代优化过程，而且无需单独进行PSF估计，实现端到端的三镜片简单透镜快速图像复原。

一种基于卷积神经网络CNN的三片简单透镜图像复原方法，其特征在于，包括以下步骤：

步骤一：生成三片简单透镜对应的模糊图像与清晰图像数据集。

所述步骤一中生成三片简单透镜对应的模糊图像与清晰图像数据集的具体方法包括如下步骤：

步骤1.1：将棋盘格图像在电脑屏幕上全屏显示，用三片简单透镜拍摄电脑屏幕，得到拍摄的棋盘格图像；

步骤1.2：将一张清晰图像在电脑屏幕上全屏显示，用三片简单透镜拍摄电脑屏幕，得到拍摄的模糊图像；

步骤1.3：基于步骤1.1拍摄的棋盘格图像，采用角点检测方法，得到精准匹配的三镜片简单透镜的清晰图像与模糊图像对；

步骤1.4：准备N张清晰图像，依次重复上述步骤1.2和步骤1.3，最终得到三片简单透镜对应的模糊图像与清晰图像数据集。

步骤二：构建用于端到端图像复原的卷积神经网络CNN模型。

所述步骤二中的卷积神经网络CNN模型的具体结构包括七层，分别是输入层、卷积层、子采样层、卷积层、子采样层、全连接层和输出层，不同层之间依靠关系权重矩阵连接，分别是W₁、W₂、W₃、W₄、W₅、W₆，输入是数据集中的模糊图像，输出是数据集中与该模糊图像对应的清晰图像。

步骤三：利用所生成的数据集对卷积神经网络CNN模型进行训练，得到训练好的CNN模型；

所述步骤三中卷积神经网络CNN模型的训练可选用Python或Caffe等常见框架。

训练卷积神经网络CNN模型即确定模型中不同层之间的关系权重矩阵。

步骤四：对于三片简单透镜新拍摄的模糊图像，直接将模糊图像输入已训练好的CNN模型，即可快速得到复原后的清晰图像。

一旦CNN模型训练完毕，利用该CNN模型处理新模糊图像的速度非常快，一张1080P的图像处理速度不到1s。

步骤一至步骤三是预处理过程，得到训练好的CNN模型之后，可将其应用到后续三镜片简单透镜拍摄的所有同类型模糊图像处理中。