[发明专利]网格约束图像拼接方法及模型构建方法

权利要求书

1.一种网格约束图像拼接模型构建方法，其特征在于，包括：

基于训练数据预训练单应估计网络模型，得到预训练模型；所述训练数据包括多个训练数据图像对，每个所述训练数据图像对包括参考图像和目标图像；

基于壁画数据对所述预训练模型进行训练，得到训练后的单应估计网络模型；所述壁画数据包括多个壁画数据图像对，每个所述壁画数据图像对包括参考图像和目标图像；所述训练后的单应估计网络模型的输出为多个扭曲图像对和所述扭曲图像对中的两个图像对应的内容掩码；

基于所述多个扭曲图像对和所述内容掩码对图像重建模型进行训练，得到训练后的图像重建模型。

2.如权利要求1所述的方法，其特征在于，所述单应估计网络模型包括区域掩码模块、多尺度特征提取模块、网格生成模块和扭曲模块；

所述区域掩码模块包括2个区域掩码单元，所述2个区域掩码单元分别用于处理所述参考图像和所述目标图像，得到处理后的参考图像和处理后的目标图像；

所述多尺度特征提取模块包括2个多尺度特征提取单元，所述2个多尺度特征提取单元分别用于提取所述处理后的参考图像的不同尺度的参考图像特征和所述处理后的目标图像的不同尺度的目标图像特征；

所述网格生成模块用于根据所述不同尺度的参考图像特征和所述不同尺度的目标图像特征，得到最终扭曲网格；

所述扭曲模块用于基于所述最终扭曲网格对应的单应估计矩阵对所述参考图像和所述目标图像进行扭曲，得到扭曲图像对和所述扭曲图像对中的两个图像对应的内容掩码，所述扭曲图像对包括扭曲后的参考图像和扭曲后的目标图像。

3.如权利要求2所述的方法，其特征在于，所述区域掩码单元包括依次连接的多个卷积层。

4.如权利要求2所述的方法，其特征在于，所述多尺度特征提取单元包括依次连接的多个特征提取子单元，每个所述特征提取子单元包括依次连接的最大池化层、2个卷积层。

5.如权利要求2所述的方法，其特征在于，所述网格生成模块包括多个依次连接的网格生成单元，每个所述网格生成单元包括CBAM注意力模块和回归网络。

6.如权利要求1所述的方法，其特征在于，所述图像重建模型包括图像结构重建分支和图像像素恢复分支，所述图像结构重建分支基于下采样后的所述扭曲图像对和所述内容掩码，得到低分辨率的拼接图像；

所述图像像素恢复分支用于提高所述低分辨率的拼接图像的分辨率，并细化图像的缝合边界，得到高分辨率的拼接图像。

7.如权利要求6所述的方法，其特征在于，所述图像结构重建分支包括依次连接的多个第一重建单元、第二重建单元、多个第三重建单元，每个所述第一重建单元包括2个卷积层和一个最大池化层，所述第二重建单元包括3个卷积层，每个所述第三重建单元包括一个反卷积层和2个卷积层。

8.如权利要求6所述的方法，其特征在于，所述图像像素恢复分支包括依次连接的3个卷积层，前2个卷积层之间设置有多个像素恢复单元，每个所述像素恢复单元包括依次连接的卷积层、激化函数、卷积层、求和层、激活函数。

9.一种网格约束图像拼接方法，其特征在于，包括：

将待拼接图像对输入到所述训练后的单应估计网络模型，得到扭曲图像对和所述扭曲图像对中的两个图像对应的内容掩码；所述待拼接图像对包括参考图像和目标图像，所述扭曲图像对为扭曲后的参考图像和扭曲后的目标图像；

将所述扭曲图像对和所述内容掩码输入到所述训练后的图像重建模型，得到所述待拼接图像对的图像拼接结果；

所述训练后的单应估计网络模型和所述训练后的图像重建模型为根据权利要求1-8中任一权利要求所述的网格约束壁画图像拼接模型构建方法得到。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，以实现权利要求1-8任意一项所述的网格约束图像拼接模型构建方法或者权利要求9所述的网格约束图像拼接方法。