[发明专利]一种基于多分支生成对抗网络的水下图像增强方法

说明书

本发明公开一种基于多分支生成对抗网络的水下图像增强方法。本发明将水下退化原始图像、同一场景下的融合处理后的水下清晰图像、同一场景下的水下清晰生成图像作为训练样本集合，输入到属性分支网络和判别分支网络得到属性图和判别图。通过属性图和判别图各自的代价函数梯度下降更新GAN网络权值。直到本次网络训练结束，得到对退化水下图像增强的模型。本发明的关键在于使用生成对抗网络数据驱动的特点和较强的模仿能力，模仿对于不同因素导致退化的水下图像的增强策略。可以用一个模型解决多种由不同原因造成的水下图像退化问题，模型更具通用性。利用属性分支和判别分支这种多分支的结构增强学习的综合性和鲁棒性。

技术领域

本发明属于深度学习领域，涉及一种基于多分支生成对抗网络的水下图像增强方法。

背景技术

复杂的水下成像环境和光照条件导致水下图像往往具有质量退化问题。传统的水下图像增强和复原方法存在问题。基于物理模型的方法，其依赖的假设条件和先验知识存在较大的局限性，对复杂的水下环境适应性不够，设计的水下成像数学模型不准确，模型参数估计算法复杂。非物理模型的方法忽略了水下成像的光学属性，容易引入颜色偏差，增强的图像容易产生过饱和或者欠饱和区域。现有方法往往对某种单一的退化现象有较好的处理效果，但总的综合性、鲁棒性并不太理想，在实际运用中存在较大的局限性。

生成对抗网络(GAN)是由生成网络(G)和判别网络(D)对抗训练的一种网络结构。G网络的目的是使合成的图像尽可能接近真实图像，使D网络难以区分，D网络的目的是区分真实图像和合成图像。GAN这种通过数据驱动的训练方式比传统的简单约束方式更适合处理由多种因素共同作用所引起的水下图像退化问题。

CycleGAN是GAN的其中一种变种结构，常被用来处理图像转换任务。CycleGAN有两个输入，分布为原始输入数据和非对应的转换后的数据。CycleGAN学习从原始输入数据到转换后的数据的映射关系。

发明内容

本发明针对现有技术的不足，提供了一种基于多分支生成对抗网络的水下图像增强方法，该方法对复杂的水下环境适应能力更强，潜在的综合性、鲁棒性更好。

本发明方法具体是：

步骤(1)、训练样本的获取

1.1获取水下退化原始图像

1.2获取与水下退化原始图像同一场景下的融合处理后水下清晰图像

对退化的水下原始图像采用多种典型的水下图像增强算法进行处理，再在上述增强处理后的清晰图像中挑选主客观指标选择效果较好的图像进行融合处理，然后经过进一步筛选得到与退化原始图像同一场景下的融合处理后水下清晰图像的训练样本集合。

所述的主客观指标选择效果较好的判断标准包括但不限于：图像对比度是否得到增强，图像颜色偏差是否得到修正，图像噪声是否去除等。

1.3获取与水下退化原始图像非同一场景下的水下清晰图像，此处为相机拍摄后人工挑选

1.4获取与水下退化原始图像同一场景下的水下清晰生成图像：使用CycleGAN对水下退化原始图像集与非同一场景下的水下清晰图像集进行训练。X为水下退化原始图像集合，Y为非同一场景下水下清晰图像集合，通过CycleGAN的训练得到X图像集到Y图像集的映射F。将水下退化原始图像通过映射F得到同一场景下的水下清晰生成图像，具体表示为：

进一步筛选得到与水下退化原始图像同一场景下的水下清晰生成图像集合。

其中进一步筛选是指代水下退化原始图像退化方式多样，选择水下清晰生成图像增强效果较好的。

1.5将水下退化原始图像、步骤1.2得到的同一场景下的融合处理后的水下清晰图像与1.4得到的同一场景下的水下清晰生成图像作为训练样本集合。