[发明专利]一种基于编码网络微调的图像能见度检测方法

权利要求书

1.一种基于编码网络微调的图像能见度检测方法，其特征在于，包括以下步骤：

步骤1，训练能见度检测模型：输入训练集图像，对训练集中每幅图像进行子区域图像划分；利用全局池化层替换预训练网络DIQaM-NR末端的池化层，利用替换修改后的网络对各子区域图像编码，提取各子区域图像对应的N维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，并估计子区域能见度值；根据支持向量误差分析计算各子区域融合权重，并按权重融合子区域能见度估计值，得到整幅图像能见度估计值；结合估计结果对深度神经网络进行微调；通过微调后的网络对各子区域图像重新编码，利用新的各子区域图像特征向量和能见度标注值重新训练支持向量回归机，得到新的能见度与特征向量的回归模型；

步骤2，测试能见度检测模型：输入测试图像，对测试图像进行子区域图像划分；利用微调后的深度神经网络进行编码，提取各子区域图像对应的N维特征向量；将各子区域图像特征向量代入步骤1最后训练的新回归模型，得到各子区域能见度估计值；计算各子区域融合权重，按权重融合各子区域能见度估计值，输出整幅图像能见度检测值；

步骤1包括以下步骤：

步骤1-1，输入训练集图像，对训练集中每幅图像进行子区域图像划分：将训练集中每幅图像划分为RegionNum个子区域，每个子区域分辨率为224×224，其中，ImageWidth表示训练集图像的宽度，ImageHeight表示训练集图像的高度，表示向上取整；子区域Region_(i,j)的左上角像素横坐标和纵坐标分别为：

i、j分别表示子区域Region_(i,j)在图像子区域集合中的行数和列数，表示向下取整；子区域Region_(i,j)的右上角像素横坐标和纵坐标分别为子区域Region_(i,j)的左下角像素横坐标和纵坐标分别为子区域Region_(i,j)的右下角像素横坐标和纵坐标分别为

步骤1-2，深度神经网络编码：利用全局池化层替换DIQaM-NR网络最后的最大池化层，将替换后的网络称为FE-V网络，其中全局池化层将采样区域视为整幅特征图，采样方式为取均值，依次将训练集各子区域图像输入FE-V网络，提取全局池化层输出的N维特征向量，得到训练集图像子区域特征向量集合FT：

其中，表示第i幅图像的第j个子区域特征向量，RegionNum表示划分的子区域数量，ImageNum表示训练集图像数量，i取值范围为1～ImageNum，j取值范围为1～RegionNum；

步骤1-3，训练支持向量回归机：利用子区域图像特征向量和对应能见度标注值训练支持向量回归机，并将各子区域图像特征向量输入训练后的支持向量回归机，得到各子区域能见度估计值；

步骤1-4，权重融合：根据支持向量误差分析计算各子区域融合权重，并按权重融合子区域能见度估计值，得到整幅图像能见度估计值；

步骤1-5，深度神经网络微调：根据训练集图像对应的能见度估计值对深度神经网络的高层卷积模块进行微调，利用微调后的网络对各子区域图像重新编码；

步骤1-6，重新训练支持向量回归机：利用新的各子区域图像特征向量和能见度标注值重新训练支持向量回归机，得到新的能见度与特征向量的回归模型；

步骤1-3包括以下步骤：

步骤1-3-1：构建样本集：将一幅子区域图像经步骤1-2提取的特征向量作为样本特征对应区域的能见度标注值y_i作为样本目标值，构成一组样本设定训练集样本图像数量为ImageNum，则子区域图像数量为ImageNum×RegionNum，即共有ImageNum×RegionNum组训练样本，将训练样本集记为表示训练样本集中第i组训练样本；n为训练样本数量，数值上等于子区域图像总数，即n＝ImageNum×RegionNum；

步骤1-3-2：建立回归模型：利用样本集数据训练支持向量回归机，得到能见度回归模型，即能见度检测模型；

步骤1-3-3：参数寻优：通过网络搜索和交叉验证，寻找回归模型的最佳参数，得到回归模型

步骤1-3-4：训练集图像子区域能见度值估计：将训练集图像子区域特征向量集合FT中元素依次输入回归模型得到训练集图像子区域能见度估计值集合其中，表示第i幅图像的第j个子区域能见度估计值；

步骤1-3-2包括以下步骤：

步骤1-3-2-1：建立如下优化目标和约束条件：

其中，s.t.表示约束条件，ω为超平面权重系数列向量，ω^T表示其转置，ε为回归函数误差限值，C为惩罚因子，ξ_i和分别为松弛变量上界和松弛变量下界，是将训练样本映射到高维线性空间的非线性函数，b是超平面的常系数；

步骤1-3-2-2，对偶变换求解：引入Lagrange函数，对步骤1-3-2-1建立的优化目标和约束条件作对偶变换求解，变换后等价形式为：

其中，α_i和为Lagrange乘子，为核函数，γ为核函数参数，j取值范围为1～n；

步骤1-3-2-3，确定含参非线性方程：求解步骤1-3-2-2的等价形式，得到Lagrange乘子最优解向量其中α_i和表示第i组训练样本对应的一组对偶Lagrange乘子，则有：

其中，SV表示支持向量，即满足|y_i-f(x_i)|＝ε的N_SV为支持向量的数量，表示待测图像的子区域特征向量，故非线性方程为：

步骤1-3-3包括以下步骤：

步骤1-3-3-1，网络搜索：设定参数ε的取值区间为[ε_min,ε_max]、C的取值区间为[C_min,C_max]、核函数参数γ的取值区间为[γ_min,γ_max]，设定参数ε的步长为εstep、C的步长为Cstep、核函数参数γ的步长为γstep，顺序算出对应各参数的组合(ε_min+u_ε×εstep,C_min+u_c×Cstep,γ_min+u_γ×γstep)，其中u_ε、u_C和u_γ为正整数，且ε_min+u_ε×εstep≤ε_max,C_min+u_C×Cstep≤C_max,γ_min+u_γ×γstep≤γ_max，对每一种组合进行交叉验证，逐一比较各种组合的均方误差并择优，从而确定该区间内最优参数组合[ε^*,C^*,γ^*]，ε^*为参数ε的最优选择，C^*为参数C的最优选择，γ^*为核函数参数γ的最优选择；

步骤1-3-3-2，确定最终回归模型：将步骤1-3-3-1得到的最优参数组合[ε^*,C^*,γ^*]代入步骤1-3-2-3，确定最终回归模型即得到了能见度检测模型；

步骤1-3-3-1中所述对每一种组合进行交叉验证，具体包括：

对于一组给定的参数组合：

[ε_min+u_ε×εstep,C_min+u_C×Cstep,γ_min+u_γ×γstep]，

其中u_ε、u_C和u_γ为正整数，将训练样本集S进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为测试图像，共得到v组交叉验证所用的训练样本及相应的测试图像，将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的测试图像校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差MSE，选取最小的均方误差作为本参数组合的均方误差MSE_i，MSE表达式如下所示：

其中，t是每组测试图像的样本个数，y_i^*是模型输出能见度值；

步骤1-4包括以下步骤：

步骤1-4-1，预测方差计算：将训练集中第i幅图像的第j个子区域的预测分布方差和预测拟合方差之和作为对应的预测方差表达式如下所示：

其中，表示第i幅图像的第j个子区域的预测分布方差，表示该区域的预测拟合方差；

步骤1-4-2，融合权重表示：将训练集中第i幅图像的第j个子区域的融合权重表示为归一化的预测方差倒数，即：

其中，表示训练集中第i幅图像的第j个子区域的预测方差，RegionNum表示划分的子区域数量，p为子区域序号，取值为[1,2,…,RegionNum]；

步骤1-4-3，子区域能见度估计值融合：将训练集中第i幅图像的各子区域能见度估计值按对应权重融合，得到整幅图像能见度估计值vf_i，融合公式如下：

其中，表示第i幅图像的第j个子区域的能见度估计值，为该子区域融合权重，RegionNum表示划分的子区域数量；

步骤1-4-4：训练集图像能见度估计：依次按权重融合训练集中每幅图像的子区域能见度估计值，得到训练集图像的能见度估计值集合VF＝[vf₁,…,vf_ImageNum]；

步骤1-4-1包括以下步骤：

步骤1-4-1-1：预测分布方差计算：第i幅图像的第j个子区域的预测分布方差由数据联合分布的不确定性产生，计算公式如下：

其中，表示训练集所有图像的第j个子区域特征向量与其能见度标注值构成的集合，表示第i幅图像的第j个子区域的特征向量与能见度估计值构成的样本点，K_(l,l)为l点的自协方差，K_(Z,l)为集合Z与l点的协方差矩阵，为K_(Z,l)的转置，为集合Z的协方差矩阵逆矩阵；

步骤1-4-1-2：预测拟合方差计算：第i幅图像的第j个子区域的预测拟合方差是由训练集数据中固有噪声导致的拟合误差，由训练该子区域支持向量回归机得到的惩罚因子C^j和误差限值ε^j计算，即：

其中，惩罚因子C^j和误差限值ε^j由步骤1-3得到。