[发明专利]网格约束图像拼接方法及模型构建方法

说明书

本申请涉及一种网格约束图像拼接方法及模型构建方法，通过建立一种基于深度学习的无监督神经网络图像拼接模型，用于从输入图像中动态提取图像特征，将训练完成的模型用于古代壁画图像拼接，为今后深度学习技术在文化遗产数字化保护中的应用和推广提供强有力的技术支撑，克服了现有图像拼接技术中存在的结果伪影以及细节缺失问题。

技术领域

本申请涉及图像处理技术领域，具体地，涉及一种网格约束图像拼接方法及模型构建方法。

背景技术

随着信息技术的日益发展，文化遗产数字化保护与传承已是时代所趋。在深度学习的热潮下，图像拼接技术再一次进入人们的研究视野，科研工作者希望利用图像拼接技术将小尺度的图像还原成大尺度图像，恢复期原始状态。现有的图像拼接方法大致可分为两类：传统图像拼接方法和基于深度学习的图像拼接方法。

传统图像拼接方法主要是利用SIFT、SUFT、ORB等特征点提取技术从输入图像中提取特征，由于图像特征点数量很多，有效特征点的筛选难度很大，因此仅仅对于特征信息明显的图像具有较好的拼接效果，当图像特征点数量不足时拼接结果存在较大的伪影和视差。基于深度学习的图像拼接方法可以通过端到端的方式学习到图像中的特征，从而更加有效地对图像进行匹配，达到更好的拼接效果，其性能也超过了传统方法。早期的深度学习拼接网络往往仅局限于解决图像拼接过程中的某一步骤，如单应估计等，严格意义上并不能称之深度学习网络，对于特征较少的图像仍会出现拼接伪影。为了解决这一问题，有学者提出有监督的图像拼接网络，在输入拼接图像的同时输入图像标签，用来约束图像拼接的效果，该方法较传统拼接方法有了很大的提高，然而图像的标签往往难以获得，因此有监督的图像拼接方法在实际中的应用有限。其次，古代壁画的结构和纹理特征更加丰富，对于拼接技术的要求也更高，现有方法无法提供一个完善的解决方案，也无法达到理想的拼接效果。

古代壁画往往结构复杂且残缺破损不一，结构信息的缺失会造成大量纹理信息的丢失，严重影响图像拼接效果。现有基于深度学习的图像拼接方法不能很好地实现壁画图像的拼接，存在拼接伪影和拼接后图像区域缺失的情况。这些问题限制了现有图像拼接算法在古代绘画数字化保护中的应用。

发明内容

为了克服现有技术中的至少一个不足，本申请实施例提供一种网格约束图像拼接方法及模型构建方法。

第一方面，提供一种网格约束图像拼接模型构建方法，包括：

基于训练数据预训练单应估计网络模型，得到预训练模型；训练数据包括多个训练数据图像对，每个训练数据图像对包括参考图像和目标图像；

基于壁画数据对预训练模型进行训练，得到训练后的单应估计网络模型；壁画数据包括多个壁画数据图像对，每个壁画数据图像对包括参考图像和目标图像；训练后的单应估计网络模型的输出为多个扭曲图像对和扭曲图像对中的两个图像对应的内容掩码；

基于多个扭曲图像对和内容掩码对图像重建模型进行训练，得到训练后的图像重建模型。

在一个实施例中，单应估计网络模型包括区域掩码模块、多尺度特征提取模块、网格生成模块和扭曲模块；

区域掩码模块包括2个区域掩码单元，2个区域掩码单元分别用于处理参考图像和目标图像，得到处理后的参考图像和处理后的目标图像；

多尺度特征提取模块包括2个多尺度特征提取单元，2个多尺度特征提取单元分别用于提取处理后的参考图像的不同尺度的参考图像特征和处理后的目标图像的不同尺度的目标图像特征；

网格生成模块用于根据不同尺度的参考图像特征和不同尺度的目标图像特征，得到最终扭曲网格；

扭曲模块用于基于最终扭曲网格对应的单应估计矩阵对参考图像和目标图像进行扭曲，得到扭曲图像对和扭曲图像对中的两个图像对应的内容掩码，扭曲图像对包括扭曲后的参考图像和扭曲后的目标图像。

在一个实施例中，区域掩码单元包括依次连接的多个卷积层。