[发明专利]一种面向UUV的水下图像色彩补偿与恢复方法

权利要求书

1.一种面向UUV的水下图像色彩补偿与恢复方法，其特征在于，包括以下步骤：

步骤一：对UUV拍摄到的图像进行亮通道的提取

根据Jaffe-McGlamery水下光学成像模型得总强光的表达式，即

式(1)中，(x,y)代表图像中像素具体位置，C∈{R,G,B}代表红、绿、蓝三种通道，J_c(x,y)为原始图像,I_c(x,y)为衰减后的图像，A_∞为背景光；E_d(x,y)为摄像机接收的直接光强；c(λ)为总的衰减系数，包含由吸收和散射造成的衰减；λ为图像R,G,B三个颜色通道中的某一通道；d(x)为物体与UUV之间的距离；g(x,y)为点扩展函数；E_f(x,y)为前向散射光强；E_b(x,y)表示后向散射的光强；

UUV接收到的光由直接分量、前向散射分量和后向散射分量组成，设透射率S_c(x)为：

S_c(x)＝exp[-c(λ)d(x)] (2)

物体与摄像机相距很小时，前向散射光引起的模糊忽略，故式(1)简化为：

I_c(x,y)＝J_c(x,y)S_c(x)+A_∞[1-S_c(x)] (3)

对等式(3)两边和红、绿、蓝三通道邻域内取最大值来提取亮通道，即

为提取到的亮通道图；

亮通道获取方法表示为式(5)：

为获取图像I_c(x,y)中各像素点处红、绿、蓝通道的最大值，为最大值滤波，滤波模板尺寸是Ω(x,y)；

步骤二：对步骤一提取亮通道得到的图像进行亮通道色彩补偿

由灰世界白平衡假设得在无噪声的图像中红、绿、蓝三种通道具有相同均值的灰度值，经过大量实验和理论推导得补偿后图像灰度值的均值与衰减后图像灰度值的均值的差值和原始图像灰度值的均值成正比，因此，需对衰减图像乘以补偿后图像灰度值的均值与衰减后图像灰度值的均值的差值；同时，在水下，三种颜色的通道的衰减不一样；如果统一处理，会使有些通道的值达到饱和，产生大量白光，因此需对图像中灰度值较低的色素进行补偿；

基于以上分析，提出基于亮通道的色彩恢复算法，即：

式(6)中，C∈{R,G,B}为红、绿、蓝三种颜色的通道，I_c(x,y)为衰减后的图像，I_BC(x,y)为经过色彩补偿后的图像，为亮通道补偿后三种色道的灰度值的均值，衰减图像三色道灰度值的均值；

式(6)中参与计算的所有图像像素值均除以255缩小到[0,1]区间，η＝3.5，为向下取整操作，N表示将像素值线性拉伸至[0,255]区间；

步骤三：对步骤二色彩补偿后的图像进行直方图均衡化处理

在水下复杂的环境下，水的浑浊程度不同带来的散射效应不一样，使得图片呈现出不同程度的模糊，需要用直方图均衡化算法进一步处理；

在离散形式下，用频率代替概率，这里用r_k代表I_BC(x,y)的离散灰度级，k为灰度级数，并且下式(7)成立：

其中，0≤r^k≤1,k＝0,1,2,3,…,n-1,n_k为图像中出现r_k这种灰度的像素数，n是图像中的像素总数，而就是概率中所述的频数；

图像进行直方图均衡化的函数表达式为：

直方图均衡化的函数表达式(8)需要满足两个条件：(a)T为单值单调递增函数，(b)0≤r≤L-1存在0≤T(r)≤L-1；

满足上述两个条件，累积分布函数将原先灰度级分布不均匀的直方图转换成灰度级分布均匀的直方图，相应的反变换为：

r_i＝T^-1(S_i) (9)

利用变换后的离散灰度级r_i恢复出图像I_z＝F(r_i)，其中；F为映射函数；

步骤四：UUV拍摄的原图像再处理，对水下图像形成模型改进、并对改进后模型中的背景光和水下透射率估计，进一步估计场景恢复J_c

步骤4.1根据Jaffe-McGlamery水下光学成像模型公式(1)得到其简化水下光学成像模型：

I_c(x)＝t_c(x)J_c(x)+(1-t_c(x))·A_c (10)

其中，x表示图像中的像素点，I_c表示UUV拍摄的图像，t_c表示颜色通道的水下透射率，J_c表示清晰的原始图像，A_c是背景光，c∈{R,G,B}；

水下透射率t_c(x)取决于物体与UUV的距离z(x)和每个通道的水衰减系数β_c,即

t_c(x)＝exp(-β_cz(x)) (11)

步骤4.2对步骤4.1改进的水下图像形成模型中的背景光估计

采用线性对比度拉伸和边缘检测模型来估计背景光A_c，具体原理：首先利用线性对比度拉伸和结构化边缘检测获得I_c的边缘检测图像I_e，并对I_e的像素进行从大到小的排列；其次根据像素点判断阈值Th对像素进行裁剪，如果像素x大于阈值，则该像素属于最大连通分量Lc，否则不属于Lc，具体为：

进一步计算Lc中像素和Sum的平均值Av，将Av作为估计的背景光；

步骤4.3对步骤4.1改进的水下图像形成模型中的水下透射率估计结合式(10)和式(11)，计算出蓝色通道的增量：

计算出红色通道的增量：

将式(14)两边取次方，得：

将衰减系数之间的比率定义为：

进一步，根据补偿空间公式(16)，借助水下透射率形成一个与公式(10)相似的结构：

考虑到不同颜色通道的不同的衰减系数，因此，在等式(10)中代替界限J_c≥0，并在蓝通道的水下透射率上获得更低的下限t^LB：

将水下透射率的像素x设置成在式(18)计算出来的t^LB；由于像素x到Lc的二元分类经常导致突然的不连续，因此使用算法soft-matting估计水下透射率：

式(19)中，∑_x∈LcD_M(I(x))表示背景光像素马哈拉诺必距离的平均值，表示最大的马哈拉诺必距离，σ_M表示标准差，α(x)表示属于物体或水域像素的消光系数，

步骤4.4估计场景恢复J_c

根据公式(12)、(18)和(19)进行颜色衰减补偿，并估计清晰的原始图像：

步骤五：对步骤四所恢复的J_c，基于白平衡假设，选取最优的水下恢复图像

根据Jerlov不同的水域类型，通过灰色世界假设自动选择最佳结果

步骤六：基于像素级图像融合，具体是，将步骤三所恢复出的图像与步骤五选择出来的最优场景图像进行图像融合；

I_z为亮通道色彩补偿与直方图处理后的图像，为水下3D场景重建恢复的图片，J为融合处理后的图像：

式(26)中，α和β是相应的权重且满足α+β＝1。

2.根据权利要求1所述的一种面向UUV的水下图像色彩补偿与恢复方法，其特征在于，通过灰色世界假设自动选择最佳结果的具体过程是：

假设水域类型为N个，i＝1,2,…N，p_i表示第i水域类型，J_c有R,G,B三个颜色通道，则具体灰度世界算法处理步骤：

(a)计算水域类型图像J_c的R,G,B三通道平均值Gray_i：

(b)计算J_c图像R,G,B三个通道的增益系数：

(c)根据Von Kries对角模型，对于图像中的每个像素x，调整其R,G,B分量为C_r、C_g和C_b：

(d)根据公式(23)，C_r、C_g和C_b像素个数均为M，对C_r中包含的像素C_rj、C_g中包含的像素C_gj和C_b中包含的像素C_bj分别求和并取平均值avr：

(e)对每个通道avr作差并取绝对值p_i：

p_i＝|avr_r-avr_g-avr_b| (25)

比较在不同水域类型下所计算出来的差值p_i，选取差值最小的水域类型所对应的图像作为