[发明专利]一种基于深度学习的全景图像融合方法

说明书

技术领域

本发明属于图像通信技术领域，涉及图像拼接技术领域，尤其涉及一种基于深度学习的全景图像融合方法。

背景技术

图像拼接技术就是将数张有部分重叠的图像拼接成一幅大型的无缝高分辨率图像的技术。使用普通相机获取宽视野的场景图像，因为相机的分辨率一定，拍摄的场景越大，得到的图像分辨率越低；而全景相机、广角镜头等不仅非常昂贵，且失真严重。为了在不降低图像分辨率的条件下获取超宽视野，甚至360度的全景图，出现了利用计算机进行图像拼接方法。

图像拼接是图像处理中的关键技术之一，是其他一些图像处理，如全景视频、智能视频监控、视频压缩和传输、虚拟现实技术、医学图像分析以及超分辨率重构等的基础，如何实现高速度高质量的图像拼接，对于整个系统而言都是至关重要的。

图像拼接技术中两个至关重要的步骤就是图像配准和图像融合。目前常用的图像融合方法有两大类，一类是采用采用直接融合的方法(例如：平均值法、加权平均法、中值滤波法)，会导致生成的全景图像因为重叠区域的细节差异而出现明显的拼接缝；另一类是采用动态规划和graph-cut的方法来查找最优融合中心线，具体来说就是利用两幅图像重叠区域内像素之间的灰度差异和颜色差异，在重叠区域中找到一条灰度和颜色差异最小的线，然后在这条最优融合中心线左右两侧选取一个缝合宽度进行线性融合，它会导致图像融合区域中运动物体的剪切以及拼接模糊等；因此本领域迫切需要一种能克服上述缺陷的全景图像拼接方法。

发明内容

本发明为克服运动物体的剪切以及拼接模糊的问题，旨在提供一种基于深度学习的全景图像融合方法，包括如下步骤：

S1：构建深度学习训练数据集；选取作为训练使用的两幅待融合鱼眼图像的重叠区域x_e1和x_e2以及由这两幅鱼眼图像融合之后形成的全景图像的理想融合区域y_e，构建待融合图像与全景图像块对的训练数据集{x_e1，x_e2，y_e}；

S2：构建卷积神经网络模型；包括S201、S202、S203；S201：构建一个深度卷积神经网络模型；S202：设置卷积采样层参数；S203：利用训练数据集训练深度卷积神经网络；

S3：基于测试数据集和训练好的深度卷积神经网络模型，得到测试数据集的融合区域；

所述S1包括S101、S102、S103、S104；

S101：生成图像金字塔；

对给定的两幅待融合鱼眼图像以及全景图像进行高斯函数平滑、下采样操作生成一系列具有不同分辨率的图像集合，即图像金字塔；获取层级为Gn+1层的高斯金字塔图像的具体实现如下：

第一步：对输入图像I进行高斯内核卷积，本实施例中采用的是长度为5的高斯卷积核；

第二步：将第一步得到的图像中所有偶数行和列去除，得到的图像即为Gn+1层的图像，计算公式如下：

其中，w(m,n)＝w(m)*w(n)，并且a是常量；

第三步：通过对输入图像Gn层，即原始图像，不停迭代以上两个步骤就会得到整个高斯金字塔图像；

S102：生成训练数据集的输入数据；

从两幅待融合鱼眼图像中生成的两个图像金字塔的每一层提取重叠区域其中l表示金字塔的第l层，将这两个图像金字塔中第l层的重叠区域像素值进行线性加权平均组合，得到初始融合区域并将这个区域内的像素进行最大最小归一化处理，使每一个像素取值范围在[0,1]之间，将这两个图像金字塔中所有层的初始融合区域级联起来形成训练样本其中c表示金字塔的层数；

S103：生成训练数据集的理想输出；从全景图像中生成的图像金字塔的每一层提取理想融合区域并将这个区域内的像素进行最大最小归一化处理，使每一个像素取值范围在[0,1]之间，将该金子塔中所有层的融合区域串联起来得到训练样本

S104：获取训练数据集；从初始融合区域x_e和理想融合区域y_e中分别抽取像素大小一直的多分辨融合块其中i＝1,2,…,N，得到N对像素位置一致的多分辨融合块对的训练数据集合