[发明专利]图像融合方法、图像融合模型的训练方法、装置和设备

说明书

本发明公开了一种图像融合方法、图像融合模型的训练方法、装置和设备，涉及人工智能领域，用以对多张图像进行图像融合，从而生成各个拍摄对象均清晰成像的合并图像。该图像融合方法具体包括：终端设备获取获取同一取景范围下的M张图像，该M张图像的图像特征不同，终端设备将M张图像输入至图像融合模型进行图像融合，输出合并图像，该合并图像包括M张图像的图像特征；其中，图像融合模型是预先利用训练样本数据对卷积神经网络模型进行训练得到的。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像融合方法、图像融合模型的训练方法、装置和设备。

背景技术

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、自然语言处理技术、以及机器学习/深度学习等几大方向。

近年来，视觉成像是计算机视觉技术中的基础一环，在广域场景或是取景范围内的目标对象的景深不一致的情况时，受到可见光成像设备的景深所限，在景深范围内的目标对象能够清晰成像，而在景深范围外的目标对象会变得模糊，所以很难拍摄到场景内各个目标对象均清晰的图像。因此，如何获得场景内的多个目标对象均清晰的图像成为业界亟需解决的问题。

发明内容

本发明实施例提供一种图像融合方法、图像融合模型的训练方法、装置和电子设备，用以生成被拍摄的多个目标对象均能够清晰成像的合成图像。

第一方面，本发明提供一种图像融合模型的训练方法，该训练方法可以由服务器执行，该训练方法用于对待训练的卷积神经网络模型进行多次训练，以生成图像融合模型，其中，训练方法包括如下步骤：

服务器获取训练图像样本集合，训练图像样本集合包括U组图像，U组图像中的每组图像包括同一取景范围内的聚焦图像和K张散焦图像，K张散焦图像的图像特征不同，U和K为大于1的正整数；针对U组图像中的每组图像，服务器分别执行如下操作：将第一组图像中的K张散焦图像输入到待训练的卷积神经网络模型中，生成包括K张散焦图像的图像特征的合成图像；其中，第一组图像为U组图像中的任意一组图像，图像融合模型设置有网络模型参数；服务器根据合成图像与第一组图像中的聚焦图像之间的匹配程度调整网络模型参数，得到调整后的网络模型参数；最终服务器生成包括调整后的网络模型参数的图像融合模型。

上述方法中，利用图像样本集合，先对图像进行特征进行提取，再对图像特征进行融合，最终利用融合后的图像与聚焦图像进行比较，从而调整网络模型参数，该方法生成的图像融合模型能够合并输入的源图像中较多的图像特征，从而有助于生成拍摄对象均清晰成像的图像。

在一种可能的设计中，图像融合模型包括用于提取图像特征的第一神经网络部分和用于图像特征融合的第二神经网络部分，第一神经网络部分的卷积层包括L个通路，L个通路用于并行地提取M张图像的图像特征，L个通路的L个输出结果，以及L个输出结果的融合结果作为第二神经网络部分的输入，第二神经网络部分用于对L个通路的L个输出结果和L个输出结果的融合结果，进行融合。

该方法中，第一神经网络部分和第一神经网络部分之间的跳跃连接方式可以解决网络层数较深的情况下梯度消失的问题，同时有助于梯度的反向传播，加快训练过程。

在一种可能的设计中，服务器根据合成图像与第一组图像中的聚焦图像之间的匹配程度调整网络模型参数，得到调整后的网络模型参数，具体包括：服务器利用损失函数计算合成图像与聚焦图像之间的损失值；服务器利用损失值调整网络模型参数，得到调整后的网络模型参数。

在一种可能的设计中，损失函数满足如下公式：