[发明专利]一种计算机中视频去雾方法

摘要

本发明公开了一种计算机中视频去雾方法，其步骤包括：步骤1，基于相邻帧差分的边缘幅度核密度估计信息熵提取视频关键帧；步骤2,基于关键帧边缘信息幅度信息熵提取代表性像素点；步骤3，基于互相关匹配算法和广义对齐算法逐像素配准视频关键帧；步骤4，基于颜色均值估计大气光照强度和基于二维核回归优化视频关键帧的传播率；步骤5，基于Catmull—Rom三次样条估计视频非关键帧的传播率；步骤6，根据大气散射模型，利用估计的模型参数，输出恢复后的雾霾视频图像序列。

主权项

1.一种计算机中视频去雾方法，其特征在于，包括如下步骤：步骤1，输入雾霾视频图像序列，基于相邻帧差分的边缘信息幅度核密度估计的信息熵提取视频关键帧；步骤2，基于边缘幅度信息熵提取关键帧代表性像素点；步骤3，基于互相关匹配算法和广义对齐算法逐像素配准视频关键帧；步骤4，基于颜色均值估计大气光照强度和二维核回归优化视频关键帧传播率；步骤5，基于Catmull—Rom三次样条估计视频非关键帧的传播率；步骤6，根据大气散射模型，输出恢复后的雾霾视频图像序列；步骤1包括如下步骤：步骤1‑1，输入雾霾视频图像序列，计算雾霾视频图像序列相邻两帧的亮度通道之差：假设雾霾视频图像序列有N帧，分别为f₁,f₂,…,f_N，f_N表示第N帧雾霾视频图像序列，每帧图像从RGB颜色空间转换为YUV空间，通过如下公式计算相邻两帧YUV空间的亮度Y通道之差的绝对值：其中，分别表示第N‑1帧的亮度Y通道和第N帧的亮度Y通道，d_N‑1表示第N‑1帧的亮度Y通道和第N帧的亮度Y通道之差的绝对值，所有N帧的亮度Y通道大小为M₁×M₂，其中M₁和M₂分别表示视频帧的行数和列数；步骤1‑2，计算所有亮度Y通道之差的绝对值的边缘幅度信息，d_r表示第r个亮度Y通道之差的绝对值，1≤r≤N‑1，通过如下公式计算d_r中第i行和第j列像素的边缘幅度信息e_r(i,j)：其中，1≤i≤M₁，1≤j≤M₂，表示第i行和第j列像素的水平方向边缘，通过如下公式计算表示第i行和第j列像素的垂直方向边缘，通过如下公式计算步骤1‑3，计算d_r的边缘信息幅度的核密度函数：对于任意一个边缘幅度e，其核密度函数p(e)为：其中，为一维核函数，变量u的高斯核函数通过如下公式计算平滑参数s：其中σ表示边缘幅度集e_r＝{e_r(1,1),e_r(1,2),…,e_r(M₁,M₂)}的标准偏差，边缘幅度集元素根据步骤1‑2计算，e_r(M₁,M₂)表示第M₁行第M₂列的边缘幅度；步骤1‑4，基于边缘信息幅度的核密度函数信息熵提取雾霾视频图像序列的关键帧：在边缘幅度集e_r的最小值和最大值之间以相等步长抽样n₁个数据，分别标记为：c₁＝min(e_r)，c₂＝c₁+Δ，c₃＝c₁+2Δ,…,c_n＝c₁+(n₁‑1)Δ，其中，步长n₁个数据对应的核密度函数分别为表示c_n对应的核密度函数，通过如下公式计算d_r的信息熵H_r：如果d_r的信息熵大于阈值H₀，H₀取值为0.1，则雾霾视频图像序列中第r帧f_r为关键帧；步骤2包括：设雾霾视频图像序列中第r帧f_r为关键帧，对边缘幅度集合{e_r(1,1),e_r(1,2),…,e_r(M₁,M₂)}的元素按照降序排序，选出前n₂个较大边缘幅度对应位置的的像素点作为代表性像素点，其中分别表示第r帧中边缘幅度值为第n₂大的像素点的横坐标和纵坐标；步骤3包括：设雾霾视频图像序列中两个相邻的关键帧分别为和r₁,r₂分别表示相邻的关键帧视频的序号，1≤r₁≤r₂≤N，和的代表性像素点的坐标分别为和使用互相关匹配算法，分别以和的代表性像素点为中心选取一个窗口，作为参考帧，作为待配准帧，以参考帧的每个代表性像素点为参考点，在待配准帧中查找相关系数最大的窗口作为匹配点，其中，相关系数的计算如下：假设中坐标为的代表性像素点的窗口内所有亮度组成的向量为Y₁，中坐标为的代表性象素点窗口内所有亮度组成的向量为Y₂，则Y₁和Y₂的相关系数定义：其中和分别表示向量Y₁的均值和向量Y₂的均值；依据互相关匹配算法选择出存在对应关系的代表性像素点对，再使用广义对齐算法计算参考帧和待配准帧的平移、旋转和缩放的变换参数，实现两个关键帧之间逐像素的配准；步骤4包括如下步骤：步骤4‑1，建立视频关键帧的大气散射光照模型：雾霾视频图像序列的关键帧大气散射光照模型为：I_c(p)＝t(p)J_c(p)+(1‑t(p))A_c，其中，J_c(p)和I_c(p)分别表示无雾视频关键帧像素点p的c通道值和雾霾视频关键帧像素点p的c通道值，c∈{R,G,B}，R、G和B分别表示红、绿、蓝三种颜色，t(p)∈[0,1]表示在像素点p的大气光照传播率，A_c表示c通道的大气光照强度；步骤4‑2，进行基于颜色均值向量的视频关键帧大气光照强度估计：大气光照强度的大小设置为常数240，以关键帧的红、绿、蓝三个颜色通道归一化的均值作为大气光照强度的方向，其中分别表示关键帧的红色通道均值、绿色通道均值和蓝色通道均值，则红、绿、蓝通道的大气光照强度估计值为：其中，A_R、A_G、A_B分别表示红色通道的大气光照强度的估计值、绿色通道的大气光照强度的估计值和蓝色通道的大气光照强度的估计值；步骤4‑3，基于二维核回归的传播率优化：按照Jin‑Han Kim提出的基于最优对比度方法初步估计像素点p的大气光照传播率t(p)：采用二维核回归方法优化传播率：假设第i行和第j列像素点的传播率估计值为t_i,j，通过如下公式计算在该点半径为w的局部窗口下传播率t_i,j的二维核回归函数其中为二维高斯核函数，计算二维核回归函数的公式中，分母部分计算为：分子部分计算为：步骤5包括：对于雾霾视频图像序列中两个相邻的关键帧和设的前一个关键帧为的后一个关键帧为配准这4个相邻关键帧和估计并优化和的传播率基于Catmull—Rom三次样条估计位于和之间的非关键帧中对应像素的传播率为：其中，r₁＜k＜r₂‑r₁，k取值范围为整数，参数x表示两个关键帧和之间的第k个非关键帧，