[发明专利]一种基于深度学习的图像高动态范围重建方法

说明书

本发明公开了一种基于深度学习的图像高动态范围重建方法，属于计算摄影学和数字图像处理领域。发明采用基于深度学习的方法建立了一个从单幅LDR图像到HDR图像的映射网络。方法首先从收集到的HDR数据集中分别依次生成LDR训练数据、亮度单位对齐的HDR样本标签和高亮度区域的掩码图像。然后构建并训练神经网络以得到具有LDR到HDR映射关系的网络模型。最后利用训练得到的生成网络模型，直接将LDR图像输入至网络模型，即可输出其重建的HDR图像。该发明可以从单幅普通数字图像中有效地重建出真实场景的动态范围，可用于普通数字图像的HDR模拟效果显示或为基于图像照明技术提供更逼真的渲染效果。

技术领域

本发明属于计算摄影学和数字图像处理领域，涉及图像的高动态范围重建方法，尤其是基于深度学习的图像高动态范围重建方法。

背景技术

高动态范围成像(High Dynamic Range Imaging,HDRI)技术是用来实现比普通数字图像更大曝光范围的一种图像表示方法，高动态范围(High Dynamic Range,HDR)图像可以提供比普通数字图像更大的亮度变化范围和更多的明暗细节，这使得HDR图像能够呈现更加接近真实场景的亮度变化信息。近年来，随着显示设备的不断进化和基于物理渲染的需求提高，高动态范围成像技术在实际应用中变得越来越重要。然而，目前直接获取HDR图像的方法需要较高的专业技能，成本较高且耗时。针对从单幅普通数字图像中重建HDR的方法，传统方法只能通过增加约束的方法来尽可能减少问题的非适定性，这使得它们只能针对某些特定应用场景有效。一些学者也基于深度学习做了一些卓有成效的工作，但他们未能考虑到诸如HDR图片间的亮度等级不变性等因素导致重建效果有局限性。该发明可以从单幅普通数字图像中有效地重建出真实场景的动态范围，可用于普通数字图像的HDR模拟效果显示或为基于图像照明技术提供更逼真的渲染效果。

发明内容

本发明的目的是从单张普通数字图像中尽可能恢复原场景的高动态范围图像。这里普通数字图像是指以8位颜色深度、256色阶保存的低动态范围(Low Dynamic Range,LDR)图像，高动态范围图像指以“.EXR”或“.HDR”等格式保存的接近真实场景明暗变化的高动态范围图像。

为了达到上述目的，本发明采用基于深度学习的方法建立了一个从LDR图像到HDR图像的映射网络，通过训练数据对网络进行学习训练，使其建立一个端到端的LDR图像到HDR图像的映射关系，整体框架图如附图1所示。算法分为数据预处理和深度神经网络训练两个部分。数据预处理部分包括训练样本对的生成、HDR图像亮度单位的对齐和图像高光区域掩码的生成三个部分。神经网络结构分为基本HDR重建网络和训练优化网络，如附图2所示。其损失函数包括三项，分别为HDR重建图像的尺度不变损失、高光区域分类的交叉熵损失和生成对抗损失。

该方法具体包括以下内容和步骤：

一、数据预处理

1)生成LDR训练样本输入

在使用深度神经网络进行有监督训练之前，需要获取对应网络输入输出的训练数据集。训练数据集包含若干LDR-HDR图像对，其中HDR图像数据可使用现有可用的HDR图片，该数据作为训练样本的标签，用于监督网络的训练；LDR图像数据作为HDR图像对应的样本输入，需要从原HDR图像中生成，其生成方法有两中途径，一是使用色调映射算法完成从HDR图片到LDR图片的生成，二是通过构建虚拟相机的方式以HDR图像作为模拟场景对齐进行模拟拍摄从而得到LDR图片。

使用色调映射算法生成LDR图像：选择一种适当的色调映射算法，直接将HDR图像作为算法输入即可得到对应的LDR图像输出。