[发明专利]一种基于弱监督学习的ISP实现方法

权利要求书

1.一种基于弱监督深度学习的ISP实现方法，其包括如下步骤：

S100：原始RAW图像采集及去马赛克处理，得到去马赛克后的图像；

S200：将所述去马赛克处理后的图像进行亮度自适应调整，得到亮度调整后的图像；

S300：网络模型的参数设定并初始化；

S400：生成器G根据所述亮度调整后的图像生成预测高清RGB图像；

S500：反向生成器F根据所述预测高清RGB图像生成预测输入图像，进而调整生成器G的参数；

S600：将所述预测高清RGB图像和目标高清RGB图像同时输入判别器，利用判别器的反馈去调整生成器G的参数；

步骤S300进一步包括：

设定并初始化网络模型的各个参数，所述网络模型是包括生成器G、反向生成器F、判别器D_c和判别器D_t的对抗网络。

2.根据权利要求1所述的方法，步骤S100进一步包括：

S101：利用摄像头采集原始RAW图像；

S102：将单通道RAW图像利用双线性插值算法去马赛克，得到去马赛克后的RGB三通道图像。

3.根据权利要求1所述的方法，步骤S200进一步包括：

将所得到的去马赛克后的RGB三通道图像转换到HSV空间进行亮度自适应调整，得到亮度调整后的图像。

4.根据权利要求1所述的方法，步骤400进一步包括：

将亮度调整后的图像输入到生成器G，由生成器G映射得到预测高清RGB图像，其中，所述生成器G的主体结构采用3个密集连接的残差块来提取特征。

5.根据权利要求1所述的方法，步骤500进一步包括：

S501：将所述生成器G生成的预测高清RGB图像作为反向生成器F的输入，由所述反向生成器F映射到输入图像空间得到预测输入图像；

S502：将亮度调整后的图像和所述预测输入图像同时输入到VGG-19网络中，计算两幅图像在某一卷积层之后得到的特征图之间的欧氏距离来衡量这两幅图像之间的相似性；

S503：通过损失函数的设计，使生成器G的参数向着所述两幅图像之间欧氏距离减小的方向调整。

6.根据权利要求1所述的方法，步骤S600进一步包括：

S601：对所述预测高清RGB图像以及真实的目标高清RGB图像执行以下两步操作：

第一、将两幅图像分别与一个特定的高斯核卷积进行模糊化处理，之后同时输入到判别器D_c中，进行映射之后从颜色、亮度的角度判断输入的图像是否为真实ISP处理后的高清RGB图像；

第二、将两幅图像分别转换至灰度空间后同时输入到判别器D_t中，从图像纹理的角度判断是否为真实ISP处理后的高清RGB图像；

S602：判别器D_c和判别器D_t会将需要调整的参数反馈给生成器G，使生成器G能够生成在色彩、亮度及纹理方面更加接近真实的目标高清RGB图像的预测图像。

7.根据权利要求1所述的方法，所述生成器G和反向生成器F的网络结构包括：第一层卷积核大小为9*9；然后是3个密集连接残差块，其中每个残差块由三个卷积核大小为3*3卷积层组成，且每个卷积层之后都有BN层，每个残差块的输出，由一个1*1的卷积层对上一个残差块的输出及当前残差块的每一层输出进行局部特征融合之后得到；在残差块之后，使用两个额外的卷积层，卷积核大小分别为3*3和9*9。

8.根据权利要求1所述的方法，所述判别器的网络结构包括：每个判别器由五个卷积层组成，每一层之后都有批归一化层并且都使用LeakyReLU激活函数；第一、第二和第五个卷积层步长分别为4、2和2；最后一层为包含1024个神经元的全连接层，使用sigmoid激活函数。