[发明专利]一种基于深度学习的动态场景HDR重建方法

权利要求书

1.一种基于深度学习的动态场景HDR重建方法，其特征在于：含有以下步骤，

步骤1：在同一静态场景内，用三脚架相机获取相同细节和范围大小的欠曝光、正常曝光和过曝光三幅图像，记录为S1、S2和S3，记录对应图像的曝光时间，利用加权融合算法将其融合得到Ground Truth，记为T；

步骤2:在动态场景中，用手持相机获取欠曝光、正常曝光和过曝光三幅图像，记录为D1、D2和D3，并将D2替换为步骤1中所得的图像S2；

步骤3：利用LK光流法对D1、S2和D3进行配准，配准后的图像序列记为R1、R2和R3,和步骤1中得到的Ground Truth组成配对的训练集；

步骤4：利用相机相应曲线将R1、R2和R3变换到线性域，将变换后的图像记录为H1、H2和H3；

步骤5：利用对比度算子提取H1、H2和H3图像中的亮度信息，将得到的亮度图像记录为M1、M2和M3；

步骤6：利用梯度算子提取R1、R2和R3图像中的细节信息，将得到的细节图像记录为L1、L2和L3；

步骤7：设计基于Resnet的Attention模块；

步骤8：构建基于U-Net和ResNet的HDR重建网络，设计混合结构损失函数；

步骤9：将步骤3得到的图像R1、R2和R3和步骤4得到的图像H1、H2和H3通道合并作为步骤8的输入，步骤5得到的图像M1、M2和M3及步骤6得到的图像L1、L2和L3通道合并起来作为步骤7构建的Attention模块的输入，步骤1得到的图像T作为标签，对网络进行训练；

步骤10：对于步骤9训练好的网络模型，将测试图像输入训练好的重建网络中，得到HDR图像；

步骤11：利用Reinhard色调映射算法对产生的HDR图像进行色调映射，在8bit显示屏上展示重建图像。

2.根据权利要求1所述的基于深度学习的动态场景HDR重建方法，其特征在于：所述步骤1的具体步骤为：

步骤1-1：对所得的图像S1、S2和S3进行曝光调整，记为L1、L2和L3如下式所示：

步骤1-2：根据简单融合算法将步骤1-1所得的L1、L2和L3融合生成HDR图像，作为Ground Truth，具体公式如下所示：

3.根据权利要求1所述的基于深度学习的动态场景HDR重建方法，其特征在于：所述步骤3的具体步骤为：

步骤3-1：对步骤2中所得到的三幅图像D1、S2和D3，进行曝光调整，利用相机的曝光响应曲线将S2的曝光量调整到与D1曝光量相同，记为D2-1，相机的曝光响应曲线为Ev＝f(Bv,Sv)，其中E_V是图像的曝光度，由相机的曝光量F和曝光时间T决定，计算方式如下式所示：相机的曝光量由相机的焦距f和光圈直径D决定，计算方式如下式所示：/B_v是图像的亮度值，即像素值，S_v是相机的ISO感光系数，是常数，在此取值为100；

步骤3-2：利用Harris角点检测法检测D1和D2-1中的特征点；

步骤3-3：利用LK光流法计算D1与D2-1之间的光流矢量；

步骤3-4：利用双三次插值法及步骤3-3中所得到的光流矢量，将D1及D2-1对齐；

步骤3-5：重复步骤3-1相同，利用相机响应曲线将S2的曝光量调整到与D3相同，记为D2-3；

步骤3-6：重复上述步骤3-2、3-3和3-4，将D3与D2-3对齐。

4.根据权利要求1所述的基于深度学习的动态场景HDR重建方法，其特征在于：所述步骤4采用伽马曲线，将图像从线性域转换到非线性域，如下式所示：f＝x^γ，其中γ＝2和x为LDR图像，f为变换后得到的HDR域图像。

5.根据权利要求1所述的基于深度学习的动态场景HDR重建方法，其特征在于：所述步骤5利用对比度算子提取步骤4得到的图像H1、H2和H3的亮度信息，具体如下式所示：