[发明专利]一种基于弱监督学习的ISP实现方法

说明书

一种基于弱监督深度学习的ISP实现方法，其包括如下步骤：S100：原始RAW图像采集及去马赛克处理，得到去马赛克后的图像；S200：将所述去马赛克处理后的图像进行亮度自适应调整，得到亮度调整后的图像；S300：网络模型的参数设定并初始化；S400：生成器G根据所述亮度调整后的图像生成预测高清RGB图像；S500：反向生成器F根据所述预测高清RGB图像生成预测输入图像，进而调整生成器G的参数；S600：将所述预测高清RGB图像和目标高清R6B图像同时输入判别器，利用判别器的反馈去调整生成器G的参数。

技术领域

本公开属于图像处理技术、计算机视觉技术领域，特别涉及一种基于弱监督深度学习的ISP实现方法。

背景技术

ISP(Image Signal Processing)即图像信号处理，特指对从CMOS传感器中输出的数字图像数据进行后期处理，经校正和增强，在色彩、亮度及清晰度等方面得到更加接近现实中人眼所看到的高清真实图像。传统拍摄设备中的ISP都是使用一种专用数字集成电路，且ISP作为拍摄设备的核心部分，承担着拍摄过程中的各种图像处理功能。因此ISP的质量在很大程度上决定了摄像机的成像质量。

自2010年以来，开始出现适用于移动拍摄设备的，可以重建高质量图像的强大ISP，因此，从那时起，以智能手机为代表的移动拍摄设备得到的照片分辨率和质量都在不断提高，且在手机中使用高分辨率的拍照系统也越来越受大众欢迎。随之出现的是应用于各行各业的高质量拍摄设备，包括视频监视器、无人车驾驶的视觉传感器，而这些拍摄设备获得更清晰、真实的图像都需要强大的ISP的支持。但由于设备的成本及空间限制，使用专用集成电路实现图像信号处理ISP的传统方法在像素大小和光学成像质量等方面都会受到硬件系统质量的限制。因此若能够基于深度神经网络实现ISP代替传统硬件方法，在镜头和传感器固定的情况下，就能够节省设备的空间和成本，而得到与原始相机质量相当甚至更高质量的图像，使用合适的深度神经网络模型可以代替任意一个复杂的完整ISP管道。

目前大多数基于深度学习实现ISP的方法都是基于强监督学习且使用单一的卷积神经网络(CNNs)。强监督学习需要逐像素对齐的图像对进行网络训练，而由于ISP的处理效果与图像传感器参数有很大关系，因此强监督学习方法对每一个拍摄设备都需要采集大量的对照数据集，耗时耗力，且生成图像质量受限于相机ISP处理之后的RGB图像质量。

发明内容

为了解决上述问题，本公开提供了一种基于弱监督深度学习的ISP实现方法，其包括如下步骤：

S100：原始RAW图像采集及去马赛克处理，得到去马赛克后的图像；

S200：将所述去马赛克处理后的图像进行亮度自适应调整，得到亮度调整后的图像；

S300：网络模型的参数设定并初始化；

S400：生成器G根据所述亮度调整后的图像生成预测高清RGB图像；

S500：反向生成器F根据所述预测高清RGB图像生成预测输入图像，进而调整生成器G的参数；

S600：将所述预测高清RGB图像和目标高清RGB图像同时输入判别器，利用判别器的反馈去调整生成器G的参数。

上述方案用深度学习的方法代替传统集成电路实现ISP的方法，节省了拍摄设备的空间和成本。相比于现有的使用单一卷积神经网络的强监督学习方法实现ISP，本方法基于生成对抗网络，使生成的RGB图像更加接近真实的高质量RGB图像。并采用弱监督学习的方法，大大降低了数据集采集的难度。在进行网络训练之前，对RAW图像进行去马赛克及亮度自适应调整来降低网络训练的难度，将需要映射的图像对之间的对应关系尽可能地简单化，从而使网络更加稳定。

相较于现有的ISP实现方法，本方案的有益效果如下：