[发明专利]一种基于深度学习的动态场景HDR重建方法

说明书

本发明公开了一种基于深度学习的动态场景HDR重建方法，克服了现有技术中图像处理效果有待改进的问题。该发明含有以下步骤，在同一静态场景内用固定相机获取欠曝光、正常曝光和过曝光三幅图像；在动态场景中，用手持相机获取上述三幅图像，记为D1、D2和D3；用LK光流法对D1、S2和D3进行配准，图像序列记为R1、R2和R3和步骤1中得到的Ground Truth组成配对的训练集；利用相机相应曲线将R1、R2和R3变换到线性域，记为H1、H2和H3；利用对比度算子提取H1、H2和H3图像中的亮度信息，记为M1、M2和M3；利用梯度算子提取R1、R2和R3图像中细节信息，记为L1、L2和L3；设计基于Resnet的Attention模块。该技术生成的HDR图像细节丰富，对比度高，具有广色域高动态范围。

技术领域

本发明涉及数字视频、计算机摄影图像处理领域，特别是涉及一种基于深度学习的动态场景HDR重建方法。

背景技术

动态范围是指场景中亮度最大值与最小值之比。在真实场景中，从最耀眼的阳光到最暗的星光，动态范围可达10^8，人眼能分辨的亮度范围也高达10^5。但是，普通传感器捕获的动态范围不超过10^3，显示器的动态范围更是只有10^2。正是由于真实场景和普通数码设备动态范围极其不匹配的这种现象，使得成像设备捕获的图像通常会出现过曝、欠曝及细节信息丢失等问题。在实际应用中，HDR图像难以获取，降低了该图像在数字电视、计算机摄影及游戏渲染等应用上发挥的效力。因此，对于HDR图像重建算法的研究具有比较强的实际意义。

目前，HDR图像重建算法主要分为传统图像融合和深度学习两个方向。通过传统图像融合获取HDR图像的方法主要有直接融合法、分块融合法、分层融合法。直接融合法主要包括Recovering High Dynamic Range Radiance Maps from Photographs，该论文提出不同曝光度图像的亮度值、曝光时间与对应位置像素点光照度有关，据此建立相机相应曲线模型，求解出相机响应函数，再通过逆运算得到真实场景的光照度数值。得到真实场景的光照度数值后将多幅图像融合成一张高动态范围图像，最后通过色调映射显示在普通显示屏上。该方法计算度过于复杂，并且得到的高动态范围图像不能直接显示在普通显示屏上。基于区域的融合方法是首先随图像进行分块，采用信息熵理论。选择包含信息量大的块进行融合。但这种方法对分块边界的处理效果不好，融合图像容易产生明显的分块效应。基于分层融合的方法主要包括Exposure Fusion，该论文提出基于拉普拉斯金字塔融合的方法，首先将多幅多曝光图像进行尺度分解，然后综合对比度、饱和度、曝光度三个评价指标获取各幅图像的权重图，对其进行平均加权后获得综合金字塔系数，最终重构拉普拉斯金字塔得到融合图像。该方法是目前最有效的融合方法。但该方法也有一定的缺陷，在过亮和过暗区域，图像的细节信息严重丢失。

基于深度学习获取高动态范围图像的方法主要有以下几种，论文HDR ImageReconstruction From a Single Exposure Using Deep CNNs提出利用自动编码器，将单张LDR图像作为输入，先下采样提取特征，后上采样重建HDR图像，该算法能够有效提升低动态范围图像的色度，同时恢复高光部分细节，但是该算法生成的HDR图像对比度较低。论文Robust Patch-Based HDR Reconstruction of Dynamic Scenes，利用一组不同曝光的图像，包括N张过曝图像，N张欠曝图像和一张正常曝光的图像，该论文提出的方法首先利用相机响应函数调整过曝和欠曝图像，使其拥有与正常曝光图像相同的曝光量，然后利用MBDS(Summarizing visual data using bidirectional similarity)从改变曝光量后的欠曝和过曝图像中选择和正常曝光图像内容最为接近的两张图像，将正常曝光图像和选择出来的两张图像变换到10bit再进行融合，从而得到最终的高动态范围图像。该算法得到的图像对比度提升明显，高光和暗部的细节也得到有效增强，但是当多帧图像中存在微小运动或者相机发生抖动时，该算法得到的高动态范围图像会出现鬼影现象。

发明内容