[发明专利]一种基于可学习频域先验的去摩尔纹系统及方法

说明书

本发明公开了一种基于可学习频域先验的去摩尔纹系统及方法。本发明使用一个统一的框架来执行摩尔纹消除和颜色恢复两个任务，通过学习频域先验从图像中分离出摩尔纹，再进行全局和局部的色调映射以实现精确的颜色恢复。通过在索贝尔滤波中引入膨胀率来构造三维索贝尔损失，可以在多个尺度上感知结构高频信息，并显著提高去摩尔纹的性能，改进后的索贝尔滤波器提供了2个45度的附加滤波器。可以使用任何块大小的通带来拟合莫尔条纹的频率先验。通过几个不同密集块大小的可学习滤波带通来拟合频率先验，带来了明显的性能增益，但几乎没有增加额外的计算负担。

技术领域

本发明属于图像处理技术领域，是基于深度学习的去摩尔纹方法，主要是涉及可学习带通滤波器的去摩尔纹方法。

背景技术

当两个相似，重复的线条，圆圈或点的图案与不完美的对齐重叠时，会出现一个新的动态图案。这种新模式称为摩尔纹，可能涉及多种颜色。当两个原始图案相对于彼此移动时，摩尔纹改变其元素的形状和频率。摩尔纹是大规模干涉图案。为了发生这种干涉图案，两个原始图案不能完全对齐。摩尔纹放大了错位。两种原始图案之间最轻微的错位可能会产生大规模，易于看见的摩尔纹。随着未对准程度的增加，摩尔纹的频率也可能增加。要想消除摩尔纹，必须是的屏幕点或条纹的间距小于相机像素尺寸，但这通常是不可能的。

数字屏幕无处不在，已经成为人们接收信息的最流行的设备之一。与此同时，包含数码相机的移动设备(如智能手机)越来越成为现代生活的重要工具。为屏幕拍照以快速保存信息正成为一种常见的做法。例如，当参加一个学术会议时，人们可能想对显示在数字屏幕上的幻灯片拍照，然后仔细阅读。有时候拍照是保存信息唯一实用的方法。不幸的是，一个常见的副作用是可能出现波纹图案，降低照片的图像质量。当两个重复的图案相互干扰时，就会产生摩尔纹。在拍摄屏幕照片的情况下，相机的滤色器阵列(CFA)会干扰屏幕的子像素布局。云纹图案呈现出颜色、厚度变化很大的图案，并表现为波纹或条纹，对拍摄距离和相机方向很敏感。摩尔纹在不同的图像上不同，甚至在同一图像内也不同。此外，由于屏幕和相机上的颜色系统之间的差异，颜色退化是伴随摩尔纹出现的另一种退化。也就是说，一个通用的图像去噪算法应该同时考虑去除摩尔纹和颜色恢复。尽管人类观察者能够区分摩尔纹，但是从被摩尔纹污染的图像中恢复出潜在的清晰图像是一个不适定的问题。图像先验通常用于解决不适定问题。颜色先验和纹理先验是针对许多不同的图像处理任务而研究得很好的两组先验。颜色先验集中于自然图像或退化图像的一般颜色性质。暗通道先验、颜色线先验和颜色椭球先验是用于图像增强和恢复任务的代表性彩色先验。空间域先验和变换域先验构成了纹理先验。像自相似性和形状先验这样的空间域先验通常用于基于滤波的图像处理。

发明内容

针对现有的去摩尔纹技术在频率，形状和颜色恢复效果不理想的问题，本发明提出了一种基于可学习频域先验的去摩尔纹系统及方法，用可学习滤波带通来学习频域先验，该方法使用一个统一的框架来执行摩尔纹消除和颜色恢复两个任务，通过学习频域先验从图像中分离出摩尔纹，再进行全局和局部的色调映射以实现精确的颜色恢复。

实现步骤：

一种基于可学习频域先验的去摩尔纹系统，包括摩尔纹消除模块(MPRB)和色调映射模块。所述的色调映射模块包括全局色调映射模块(GTMB)以及局部色调映射模块(LTMB)。所述的摩尔纹消除模块用于消除摩尔纹，色调映射模块用于重建色彩。

摩尔纹消除模块(MPRB)：

(1)使用密集块对输入图像进行特征提取，密集块由n个3x3的膨胀卷积和ReLU激活函数组成，采用膨胀卷积的目的是扩大密集区域的感受野。

(2)将可学习的权重与提取后的特征映射一起输入到分块频域逆变换(FDIT)之后，经过一个3x3卷积，把n个密集块的特征映射相加输入到特征缩放层(FSL)来线性约束输出，避免产生过大的梯度。所述的分块频域逆变换采用离散余弦变换(DCT)、离散小波变换(DWT)、离散傅里叶变换(DFT)或新的可学习正交变换(LOT)。