[发明专利]单图像超分与感知图像增强联合任务学习系统

权利要求书

1.一种单图像超分与感知图像增强联合任务学习系统，其特征在于，包括：

学习模块，所述学习模块包括深度网络模型，所述深度网络模型包括第一网络、第二网络和第三网络；

所述第一网络包括大编解码残差网络、小编解码残差网络和局部残差网络，所述大编解码残差网络使用的RRDB数量多于所述小编解码残差网络，所述局部残差网络包括叠加的不同内核大小的轻量多尺度残差块；

所述第二网络用于对图像进行上采样，包括两组并联且信息共享的卷积层；其中，所述两组并联且信息共享的卷积层通过交叉连接的方式将特征信息相互交换融合，并通过shuffle层进行上采样，再将两组输出的特征拼接，输入至1×1的卷积层；

所述第三网络包括U-net网络和颜色校正模块，所述U-net网络用于提取图像特征，所述颜色校正模块用于根据提取的图像特征生成颜色校正矩阵，所述颜色校正矩阵用于对所述第一网络和所述第二网络的输出图像进行颜色校正；

所述深度网络模型的输入为原始图像，所述原始图像同时作为所述第一网络、所述第二网络和所述第三网络的输入，输出得到输出图像；所述原始图像与对应的校正图像构成训练图像对；所述输出图像与所述校正图像输入到损失函数。

2.根据权利要求1所述的单图像超分与感知图像增强联合任务学习系统，其特征在于，所述学习模块还包括图像预处理单元；

所述图像预处理单元，用于在所述原始图像输入第二网络之前，对所述原始图像进行滤波处理，得到基础信息层图像，并对所述原始图像与所述基础信息层图像进行逐元素除法运算，得到细节信息层图像，最后将所述原始图像与所述细节信息层图像叠加得到结果图像，将所述结果图像输入所述第二网络。

3.根据权利要求1所述的单图像超分与感知图像增强联合任务学习系统，其特征在于，所述第二网络的两组卷积层采用的卷积核尺寸不同。

4.根据权利要求1所述的单图像超分与感知图像增强联合任务学习系统，其特征在于，所述大编解码残差网络和所述小编解码残差网络采用不同的下采样尺度。

5.根据权利要求1所述的单图像超分与感知图像增强联合任务学习系统，其特征在于，所述大编解码残差网络和所述小编解码残差网络中的残差块的设置包括：删除批量标准化层、将PReLu层替换为RRelu层、和/或，删除通道注意力模块。

6.根据权利要求1至5任一项所述的单图像超分与感知图像增强联合任务学习系统，其特征在于：

所述U-net网络在编码阶段，将所述原始图像降采样至第一图像，再根据第一策略和第二策略分别处理所述第一图像；

所述第一策略包括：将所述第一图像降采样，得到第二图像，再复制所述第二图像；

所述第二策略包括：对所述第一图像进行全局平均池化，得到第三图像，再复制所述第三图像；

所述U-net网络在解码阶段，将复制的所述第二图像和复制的所述第三图像合并为第一特征图，并将所述第一特征图与所述第一图像进行拼接，得到第二特征图。

7.根据权利要求6所述的单图像超分与感知图像增强联合任务学习系统，其特征在于，所述颜色校正模块包括拼接单元、全局颜色校正单元、以及局部颜色校正单元；所述拼接单元，用于拼接所述大编解码残差网络、小编解码残差网络和局部残差网络的输出图像，得到第五图像，将所述第五图像馈入所述第三网络，通过对所述第五图像进行调整大小和上采样，得到第三特征图；

所述全局颜色校正单元，用于将所述第三图像输入一个全连接层，所述全连接层输出全局颜色校正矩阵；

所述局部颜色校正单元，用于将所述全局颜色校正矩阵作用于所述第三特征图，得到局部颜色校正矩阵，所述局部颜色校正矩阵作用于所述第一网络和第二网络的输出图像。

8.根据权利要求1至5任一项所述的单图像超分与感知图像增强联合任务学习系统，其特征在于，所述深度网络模型的优化目标为损失函数最小化，所述损失函数为内容损失、全变差损失、多尺度结构相似性损失和像素损失的线性叠加。