[发明专利]图像超分辨率重建方法、模型蒸馏方法、装置及存储介质

权利要求书

1.一种图像超分辨率重建方法，其特征在于，包括：

对输入的时间上连续的至少三帧原始图像进行特征提取，得到至少三个待处理图像，每一个待处理图像对应一帧原始图像；

以所述至少三个待处理图像中的一个图像作为参考图像，采用基于深度学习的对齐处理网络将所述待处理图像与所述参考图像进行数据对齐，输出多个对齐帧；

采用基于深度学习的融合处理网络对所述多个对齐帧进行数据融合；

采用基于深度学习的重建处理网络对数据融合后的图像进行向上采样以实现图像超分辨率重建。

2.根据权利要求1所述的方法，其特征在于，所述以所述至少三个待处理图像中的一个图像作为参考图像，采用基于深度学习的对齐处理网络将所述待处理图像与所述参考图像进行数据对齐，输出多个对齐帧，包括：

将所述至少三个待处理图像中的中间待处理图像作为参考图像，所述中间待处理图像对应所述时间上连续的至少三帧原始图像中的中间帧，采用基于深度学习的对齐处理网络将第一待处理图像与第二待处理图像进行数据对齐，得到第一对齐帧，采用基于深度学习的对齐处理网络对第二待处理图像进行处理，得到第二对齐帧，采用基于深度学习的对齐处理网络将第二待处理图像与第三待处理图像进行数据对齐，得到第三对齐帧。

3.根据权利要求1或2所述的方法，其特征在于，所述基于深度学习的对齐处理网络包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块，其中：

第一卷积块包括第一拼接层，第一卷积层和第一激活层，第一卷积块的输入包括第一输入图像和第二输入图像；

第二卷积块包括第二拼接层，第二卷积层和第二激活层，第二卷积块的输入包括第一卷积块的输出和第一输入图像；

第三卷积块包括第三拼接层，第三卷积层和第三激活层，第三卷积块的输入包括第二卷积块的输出和第一输入图像；

第四卷积块包括第四拼接层，第四卷积层和第四激活层，第四卷积块的输入包括第三卷积块的输出和第二输入图像；

第五卷积块包括第五拼接层，第五卷积层和第五激活层，第五卷积块的输入包括第四卷积块的输出和第二输入图像；第五卷积块的输出为所述对齐处理网络的输出。

4.根据权利要求3所述的方法，其特征在于，其中，

所述第一拼接层、第二拼接层、第三拼接层、第四拼接层和第五拼接层采用concat函数实现；

所述第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层采用conv2d函数实现，卷积核大小为3×3，通道数为64；

所述第一激活层、第二激活层、第三激活层、第四激活层和第五激活层采用relu函数实现。

5.根据权利要求1或2所述的方法，其特征在于，其中，所述基于深度学习的融合处理网络包括第七卷积块、第八卷积块，第九卷积块，第十卷积块和第十一卷积块，其中：

所述第七卷积块的输入包括第一对齐帧和第二对齐帧，第七卷积块的输出作为第九卷积块的第一输入；

所述第八卷积块的输入包括第二对齐帧和第三对齐帧，第八卷积块的输出作为第九卷积块的第二输入；

所述第九卷积块的输出为第十卷积块的输入，第十卷积块的输出为第十一卷积块的输入，第十一卷积块的输出为所述融合处理网络的输出。

6.根据权利要求5所述的方法，其特征在于，其中，

第七卷积块、第八卷积块和第九卷积块中每个卷积块的结构包括拼接层、卷积层和激活层；第十卷积块和第十一卷积块中每个卷积块的结构包括卷积层和激活层；其中，第七卷积块、第八卷积块和第九卷积块中每个卷积块的拼接层采用concat函数实现，第七卷积块、第八卷积快、第九卷积块、第十卷积块和第十一卷积块中每个卷积块的卷积层采用conv2d函数实现，卷积核为3×3，通道数为64；第七卷积块、第八卷积块、第九卷积块、第十卷积块和第十一卷积块中每个卷积块的激活层采用relu函数。