[发明专利]基于事件流和彩色图像融合的不均匀照明图像增强方法

说明书

一种基于事件流和彩色图像融合的不均匀照明图像增强方法，属于计算机视觉图像增强技术领域。本发明针对事件相机输出的事件无法提供场景的颜色信息的问题。包括：获取事件相机的事件流E和对应的标准相机的彩色图像帧S；采用E2VID方法将事件流E重建为强度图像Isubgt;1/subgt;；基于Retinex理论，采用卷积神经网络将彩色图像帧S分解为反射图R、照明图Isubgt;2/subgt;和噪声图N；采用伽马变换调整强度图像Isubgt;1/subgt;和照明图Isubgt;2/subgt;的亮度，生成两个人工多曝光图像序列；计算获得两个人工多曝光图像序列中各曝光图像的权值图，与金字塔融合策略混合，获得人工多曝光图像序列的融合图像；基于Retinex理论，结合照明图Isubgt;2/subgt;和噪声图N，将融合图像转化为融合后彩色图像。本发明用于不均匀照明图像增强。

技术领域

本发明涉及基于事件流和彩色图像融合的不均匀照明图像增强方法，属于计算机视觉图像增强技术领域。

背景技术

标准相机的动态范围比自然场景要小得多。由于人工光源的影响，标准摄像机捕捉到的图像照明不均匀，包含了低光和高光区域，并降低了能见度。这影响了分割、检测、跟踪等非均匀照明环境中任务的准确性。因此，通过提高对比度和恢复细节来提高非均匀照明图像的可见性是一项重要的任务。

近年来，为了提高非均匀照明图像的质量，提出了许多图像增强方法，包括直方图均衡(HE)、Retinex理论和高动态范围(HDR)成像技术。基于HE的方法是全局图像增强方法，增强后的图像具有严重的噪声、过曝光的明亮区域和一些细节的丢失。基于Retinex的方法使用各种先验和假设来估计照明，然后利用估计的照明图来恢复图像的对比度。虽然基于Retinex的方法提高了图像对比度，但它们不能处理光线效果，也不能在明亮的区域重新获得细节。HDR成像方法可以抑制光效果，在黑暗区域保留细节，但依旧不能恢复过度暴露区域的细节。

事件相机，一种受生物启发的传感器，其工作原理与标准相机非常不同。事件摄像机的每个像素都可以异步地检测场景亮度的变化，并以事件的形式单独输出。因此，它们的输出不是强度图像，而是异步事件流。事件摄像机是一种具有高动态范围的新型传感器，它为非均匀照明图像增强提供了一种潜在的解决方案，特别是在明亮区域的细节恢复，但是事件相机输出的事件无法提供场景的颜色信息。

发明内容

针对事件相机输出的事件无法提供场景的颜色信息的问题，本发明提供一种基于事件流和彩色图像融合的不均匀照明图像增强方法。

本发明的一种基于事件流和彩色图像融合的不均匀照明图像增强方法，包括，

步骤一：获取事件相机的事件流E和对应的标准相机的彩色图像帧S；

步骤二：采用E2VID方法，将事件流E重建为强度图像I₁；同时基于Retinex理论，采用卷积神经网络将彩色图像帧S分解为反射图R、照明图I₂和噪声图N；

步骤三：采用伽马变换调整强度图像I₁和照明图I₂的亮度，生成两个人工多曝光图像序列；

步骤四：计算获得两个人工多曝光图像序列中各曝光图像的权值图，将所有权值图与金字塔融合策略混合，获得人工多曝光图像序列的融合图像；

步骤五：基于Retinex理论，结合照明图I₂和噪声图N，将融合图像转化为融合后彩色图像。

根据本发明的基于事件流和彩色图像融合的不均匀照明图像增强方法，

步骤二中，卷积神经网络为三分支卷积神经网络，每个分支分别由彩色图像帧S分解获得反射图R、照明图I₂和噪声图N；

三分支卷积神经网络包括CNN1分支、CNN2分支和CNN3分支；