[发明专利]基于深度学习的MVS数据的快速纹理修复方法及系统

权利要求书

1.一种基于深度学习的MVS数据的快速纹理修复方法，其特征在于，包括：

S1、收集、制作原始图片作为训练数据并进行预处理；预处理后的原始图片模拟现实中纹理破损的形状添加形状和分布随机的掩膜；

S2、设计深度卷积神经网络NN1作为生成网络，检测和修复掩膜处的像素；

S3、设计深度卷积神经网络NN2作为判别网络，构成生成网络NN1的对抗体系；

S4、设计目标函数，利用梯度下降和反向传播算法对NN1和NN2的网络参数进行优化；

S5、随机打乱训练集，输入纹理图像和添加掩膜后纹理图像，初始化网络参数，交替训练NN1和NN2，多次迭代直到目标函数收敛，得到的NN1作为修复网络使用。

2.根据权利要求1所述的基于深度学习的MVS数据的快速纹理修复方法，其特征在于，步骤S1中所述的预处理具体包括：对输入数据进行随机缩放、随机剪裁、随机水平翻转，同时对输入图片的像素值进行标准化。

3.根据权利要求1所述的基于深度学习的MVS数据的快速纹理修复方法，其特征在于，步骤S1中添加掩膜的同时对掩膜处的原始图片进行处理，处理方法包括像素抹除、随机替换成周边像素、来自于训练集其它图像区域的像素和深度神经网络生成随机像素。

4.根据权利要求1所述的基于深度学习的MVS数据的快速纹理修复方法，其特征在于，步骤S2中所述NN1的前向网络由两个部分组成，第一部分网络使用级联卷积的方式对输入的图片进行逐层的降采样，第二部分网络使用级联卷积的方式对输入的图片进行逐层的上采样。

5.根据权利要求4所述的基于深度学习的MVS数据的快速纹理修复方法，其特征在于，所述第一部分网络还引入门控卷积结构Gated Convolution；对输入进行两个分支的卷积再相乘得到输出，对掩膜的修复区域进行有效像素的填充。

6.根据权利要求4或5所述的基于深度学习的MVS数据的快速纹理修复方法，其特征在于，所述第一部分网络还引入Squeeze-and-Excitation结构，对输入做全局平均池化后使用两层卷积核为1的卷积进行非线性变换得到各个通道的注意力分数，再作用到输入上。

7.根据权利要求1所述的基于深度学习的MVS数据的快速纹理修复方法，其特征在于，步骤S3所述NN2的前向网络由级联卷积的方式构成，对输入的图片进行逐层下采样。

8.一种基于深度学习的MVS数据的快速纹理修复系统，其特征在于，包括：

预处理及掩膜添加模块，用于收集、制作原始图片作为训练数据并进行预处理；预处理后的原始图片模拟现实中纹理破损的形状添加形状和分布随机的掩膜；

生成网络模块，设计深度卷积神经网络NN1作为生成网络，检测和修复掩膜处的像素；

判别网络模块，设计深度卷积神经网络NN2作为判别网络，构成生成网络NN1的对抗体系；

目标函数及优化模块，设计目标函数，利用梯度下降和反向传播算法对NN1和NN2的网络参数进行优化；

训练模块，随机打乱训练集，输入纹理图像和添加掩膜后纹理图像，初始化网络参数，交替训练NN1和NN2，多次迭代直到目标函数收敛，得到的NN1作为修复网络使用。

9.根据权利要求8所述的基于深度学习的MVS数据的快速纹理修复系统，其特征在于，所述生成网络模块中NN1的前向网络由两个部分组成，第一部分网络使用级联卷积的方式对输入的图片进行逐层的降采样，第二部分网络使用级联卷积的方式对输入的图片进行逐层的上采样；

所述第一部分网络还引入门控卷积结构Gated Convolution；对输入进行两个分支的卷积再相乘得到输出，对掩膜的修复区域进行有效像素的填充；

所述第一部分网络还引入Squeeze-and-Excitation结构，对输入做全局平均池化后使用两层卷积核为1的卷积进行非线性变换得到各个通道的注意力分数，再作用到输入上。

10.根据权利要求8所述的基于深度学习的MVS数据的快速纹理修复系统，其特征在于，所述判别网络模块中NN2的前向网络由级联卷积的方式构成，对输入的图片进行逐层下采样。