[发明专利]基于深度估计的欠曝光LDR图像重建HDR图像

权利要求书

1.本发明将HDR重建的知识和深度估计相结合来设计模型。发明的核心思路是将深度估计融入到HDR图像重建模型中，并开发两个相连的深度神经网络来解决每个任务，其特征在于，包括如下步骤：

1)由于直接从8位LDR图像中推断出32位HDR图像的方法很难用于无监督的学习进行训练，本发明提出一种有效的方法来生成在曝光的LDR图像下生成HDR图像以及相应的精确深度图；

2)本发明训练HDR重建网络与深度估计网络相结合，采用无监督的端到端训练策略，将深度估计融入到HDR图像重建模型中，并开发两个相连的深度网络来解决每个任务；

3)本发明在卷积层和反卷积层之间增加了残差连接，用来在不同曝光图像之间传递信息，特征图包含了大量的图像细节，且其特征图能够在不同的曝光图像之间共享，这有助于反卷积层恢复更好的图像，此外，残差连接也可以将梯度反向传播到底部，便于更好的训练网络；

4)本发明讨论深度损失函数对HDR图像和深度图像的影响，采用了消融研究的方法。

2.根据权利要求1所述的生成HDR图像的方法，其特征在于，步骤1)包括：

(1)将曝光不足的图像作为输入，推断出曝光率高于输入图像的LDR图像，每个LDR图像所记录的信息对应于真实场景中不同动态范围的内容；

(2)输出曝光过度的图像，最后由这些LDR图像生成最终的HDR图像。

3.根据权利要求1所述的将深度估计融入到HDR图像重建模型中的方法，其特征在于，步骤2)包括：

(1)首先给定输入的的LDR图像，利用HDR图像生成网络恢复因曝光不足而丢失的细节信息，HDR图像生成网络由卷积层和反卷积层组成，用于学习不同的曝光表示，卷积层充当特征提取器，保留图像中对象的主要成分，反卷积层被合并来恢复图像的细节；

(2)将HDR图像作为深度估计网络的输入，对场景进行深度估计，整个网络以无监督的方式学习，利用HDR和LDR图像之间的关系来约束网络学习过程，不同曝光量下的LDR图像之间的关系，依靠合并HDR生成的LDR和RGB丢失生成的LDR图像之间的一致性来训练，直到HDR和LDR生成良好；

(3)将一对立体的HDR图像分别送入同一个网络模型中，输出其对应的视差图，然后通过采样器获得重建的HDR左右图像，将预测的奇偶校验与相反的输入图像对齐；

(4)深度估计网络采用编码器提取几何特征，解码器结构进一步约束输出的视差，通过双线性采样线性搜索周围位置的最接近像素，最终生成重建图像。

(5)为了使重建后的图像与原始图像保持一致，分别设置了外观匹配损失，视差平滑度损失以及左右视差一致性损失。