[发明专利]一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法

权利要求书

1.一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法，其特征在于采用自蒸馏的框架，引入基于对比学习的损失函数，对超分辨率算法进行有效压缩和加速，具体包括下述步骤：

步骤1：数据集准备与预处理

1-1：收集内容一致的低分辨率图和高分辨率图作为图像对，将其以8:2比例划分为训练集和测试集，所述低分辨率图的分辨率为高分辨率图的1/s；所述图像对的文件格式为PNG；

1-2：将上述训练集的图片采用随机翻转或随机裁剪进行数据增广；

步骤2：教师超分模型的构建及特征提取与复原

2-1：构建由浅层特征提取模块、深层特征提取模块、上采样模块和重建模块组成的教师超分辨率模型，所述上采样模块的输出大小为其输入大小的s倍，而其他模块的输出大小与输入大小一致；

2-2：将步骤1处理好的低分辨率图片输入教师超分辨率模型进行特征提取与复原，得到三通道的预测复原图像，其分辨率为输入图片分辨率的s倍；

步骤3：学生超分模型构建及特征提取与复原

3-1：构建由浅层特征提取模块、深层特征提取模块、上采样模块和重建模块组成的学生超分辨率模型，其每一层所使用的通道数为教师超分辨率模型的1/r，其中：r为预先设定的压缩比率；

3-2：将步骤1处理好的低分辨率图片输入学生超分辨率模型进行特征提取与复原，得到三通道预测复原图，即其分辨率为输入图片分辨率的s倍；

步骤4：计算图片重建损失函数值

将步骤2和步骤3获得的预测复原结果和高分辨率图以加权求和计算重建损失函数值，所述重建损失函数的权重为1；

步骤5：计算对比损失函数值

5-1：将低分辨率图利用双三次插值的方法得到对应的上采样图像，作为负样本；

5-2：将步骤5-1得到的负样本与步骤2和步骤3得到的预测复原结果分别输入到预训练的VGGNet19模型中，提取其第1层、第3层、第5层、第9层和第13层的高维特征；

5-3：对步骤5-2中提取的不同层高维特征以加权求和计算对比损失函数值，所述对比正则函数的权重为200；

步骤6：学生超分模型的训练

6-1：将重建损失函数值和对比损失函数值在训练集上对学生超分辨率模型进行压缩，其学习速率为0.0001；

6-2：当网络迭代次数达到设置的阈值时，停止训练；

6-3：使用测试集数据对压缩后得到的学生超分辨率模型进行测试，并根据测试结果确定测试精度，所述测试精度为PSNR和SSIM。

2.根据权利要求1所述基于自蒸馏对比学习的超分辨率模型压缩和加速方法，其特征在于所述学生超分辨率模型与教师超分辨率模型为共享参数的任意网络结构。

3.根据权利要求1所述基于自蒸馏对比学习的超分辨率模型压缩和加速方法，其特征在于所述步骤2的教师超分辨率模型使用预训练模型。

4.根据权利要求1所述基于自蒸馏对比学习的超分辨率模型压缩和加速方法，其特征在于所述步骤4的加权求和与步骤5的加权求和同时进行，其对比损失函数的计算过程具体包括：

A1：计算学生超分模型预测复原图与教师超分模型预测复原图第i层高维特征的L1距离函数值作为距离D1；

A2：计算学生超分模型预测复原图与上采样图第i层高维特征的L1距离函数值作为距离D2；

A3：计算D2与D1的比值作为第i层的对比损失函数值；

A4：求每层高维特征的对比损失函数值的加权求和，其中第1层、第3层、第5层、第9层和第13层的高维特征的权重分别为1/32、1/16、1/8、1/4和1。