[发明专利]基于事件流和彩色图像融合的不均匀照明图像增强方法

权利要求书

1.一种基于事件流和彩色图像融合的不均匀照明图像增强方法，其特征在于包括，

步骤一：获取事件相机的事件流E和对应的标准相机的彩色图像帧S；

步骤二：采用E2VID方法，将事件流E重建为强度图像I₁；同时基于Retinex理论，采用卷积神经网络将彩色图像帧S分解为反射图R、照明图I₂和噪声图N；

步骤三：采用伽马变换调整强度图像I₁和照明图I₂的亮度，生成两个人工多曝光图像序列；

步骤四：计算获得两个人工多曝光图像序列中各曝光图像的权值图，将所有权值图与金字塔融合策略混合，获得人工多曝光图像序列的融合图像；

步骤五：基于Retinex理论，结合照明图I₂和噪声图N，将融合图像转化为融合后彩色图像。

2.根据权利要求1所述的基于事件流和彩色图像融合的不均匀照明图像增强方法，其特征在于，

步骤二中，卷积神经网络为三分支卷积神经网络，每个分支分别由彩色图像帧S分解获得反射图R、照明图I₂和噪声图N；

三分支卷积神经网络包括CNN1分支、CNN2分支和CNN3分支；

其中CNN1分支依次包括四个ReLU+Conv层、Conv层和激活函数Sigmod，用于获得彩色图像帧S的反射图R；

CNN2分支依次包括四个ReLU+Conv层、Conv层和激活函数Sigmod，用于获得彩色图像帧S的照明图I₂；

CNN3分支依次包括四个ReLU+Conv层、Conv层和激活函数Tanh，用于获得彩色图像帧S的噪声图N。

3.根据权利要求2所述的基于事件流和彩色图像融合的不均匀照明图像增强方法，其特征在于，三分支卷积神经网络的损失函数L₀为：

L₀＝L_recon+λ₁L_ic+λ₂L_ref+λ₃L_is+λ₄L_n，

其中L_recon为重建损失，L_ic为照明一致性损失，L_ref为反射率损失，L_is为照明平滑度损失，L_n为噪声估计损失；λ₁为照明一致性损失项权重因子，λ₂为反射率损失项权重因子，λ₃为照明平滑度损失项权重因子，λ₄为噪声估计损失项权重因子。

4.根据权利要求3所述的基于事件流和彩色图像融合的不均匀照明图像增强方法，其特征在于，

各损失项定义为：

L_recon＝||S-(R⊙I₂+N)||₁，

L_ic＝||I₂-I₀||₁，

L_n＝||I₂⊙N||_F，

式中||·||₁表示范数，I₀是光照的初始估计，ω_r为一阶差分算子的权重，一阶差分算子包括水平算子和垂直算子ω_h为水平算子权重，ω_v是垂直算子权重；||·||_F为Frobenius范数，⊙为逐元素相乘；

式中normalize表示最小-最大值归一化，

式中G为高斯滤波器，*表示卷积算子，S_g为彩色图像帧的灰度图。