[发明专利]一种端到端深度学习框架下的多曝光图像融合方法

说明书

本发明提供一种端到端深度学习框架下的多曝光图像融合方法，包括通过训练获取参数，还包括以下步骤：将所述原始图像基于卷积神经网络进行融合处理，得到输出图像；对所述原始图像进行N下采样，得到N²个原始子图像；将N²个所述原始子图像基于卷积神经网络分别进行融合处理，得到N²个输出子图像；把N²个所述输出子图像进行合并，得到合并子图像；输出图像和合并子图像进行权重平均后生成结果融合图像。本发明利用深度学习框架，实现一种端到端的多曝光融合方法，改变了传统方式通过网络只是计算融合系数的方式，大大降低了算法的复杂性。

技术领域

本发明涉及图像处理的技术领域，特别是一种端到端深度学习框架下的多曝光图像融合方法。

背景技术

在日常生活和工作中对高质量的图像具有强烈的需求，比如照片编辑，手机等便携设备的高质量成像，医用图像增强等领域。通过对多曝光图像序列进行融合理论上可以获取到细节信息丰富的高质量图像。多曝光图像融合技术已是计算机视觉领域里的一个研究热点。多曝光融合算法的最终目标是使生成的结果图像在被显示后，人类所获得的感知要和其置身于真实环境中获得的一样，即被观察图像与真实场景不但展现的信息一致，而且给人类带来的视觉感觉也要是一致的。经过处理后得到的结果图像，不仅有助于人眼对场景的辨识，而且对边缘检测、图像分割、图像锐化等数字图像后续处理和计算机视觉系统研究也具有积极的意义。这项技术弥补了普通数码摄像及显示器材的动态范围窄于现实场景的局限性，使得人们仅利用消费级数码产品就可以获得专业级的高质量图像。

由于场景亮度变化范围的影响会导致低曝光和高曝光图像的细节信息丢失严重，主要原因当采用低曝光度获取时，图像高亮区细节信息可见，但暗区的细节由于过于黑暗导致细节丢失严重；相反，用高曝光度获取图像时，暗区细节可见，但高亮区由于曝光过度信息同样会丢失。为了恢复场景更多的细节信息，产生了多曝光融合技术。多曝光融合过程可描述为：对同一场景，获取不同曝光度的图像序列，经过融合处理，提取各自的清晰信息而合成一幅新的图像，它能够有效地提高图像信息的利用率，便于人眼观察或计算机进一步处理。

传统的多曝光融合算法通常要解决两个关键问题：图像特征表示和融合规则设计。现有的融合方式大多是分别解决这两个问题以达到融合目的。数码相机在某一高动态范围场景进行成像时，由于场景中的亮度范围跨度很大，超出了其显示范围，想一次成像就把整个场景的信息获取到是非常困难的。当采用低曝光度获取时，图像高亮区细节信息可见，但暗区的细节由于过于黑暗导致细节丢失严重；相反，用高曝光度获取图像时，暗区细节可见，但高亮区由于曝光过度信息同样会丢失。为了解决这个问题，产生了多曝光融合技术，它能够很好地保留场景的细节信息。曝光融合过程可描述为：对同一场景，获取不同曝光度的图像序列，经过融合处理，提取各自的清晰信息合成一幅新的图像。它能够有效地提高图像信息的利用率，便于人眼观察或计算机进一步处理。如何设计融合规则是多曝光融合算法的核心问题。在基于空间域的融合规则里，普遍采用加权平均、最大值或最小值等规则进行图像融合处理。在设计该类融合规则时，不对源图像进行任何图像变换，也不考虑像素之间的相关性，而是直接对源图像中的各对应像素点直接进行融合处理，得到一幅新的图像。虽然这些方法具有简便、计算量小的特点，比较适用于对融合效率要求较高的应用中。但是，它们不能够较好地表现源图像中的特征，纹理细节丢失也比较严重。因此，需要对现有基于空间域的融合规则进行改进和优化，在不过多影响计算复杂度的前提下，提升图像融合的质量。

公开号为CN104112263A的发明专利公开了一种基于深度神经网络的全色图像与多光谱图像融合的方法，具体步骤如下：步骤1，构建高分辨与低分辨图像块对的训练集；步骤2，利用改进的稀疏去噪自编码器学习训练神经网络模型中第一层的初始化参数；步骤3，利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练；步骤4，对经过预训练的深度神经网络的参数进行微调；步骤5，根据已知的低空间分辨的多光谱图像，利用该深度神经网络重构出高分辨的多光谱图像。该申请提出的方法步骤较多，计算复杂，而且仅能实现光谱图像的融合。不适用于普通图像。