[发明专利]一种实时且可控的尺度空间滤波方法

说明书

本发明公开一种实时且可控的尺度空间滤波方法，通过设计了一种循环神经网络模型来循环地输出多个不同尺度的滤波结果。循环神经网络是指将神经网络的输出重新作为该网络的输入，得到新的输出，之后再将新的输出作为神经网络的输入再次得到新的输出，以此往复直到满足循环终止的条件。循环神经网络模型包括引导网络G和剥离网络P。

技术领域

本发明涉及基于深度学习进行图像处理的领域，特别是涉及一种实时且可控的尺度空间滤波方法。

背景技术

现有的传统方法如L0[1]，RGF[2]，RTV[3]，muGIF[4]等，需要经过很多步迭代的优化操作才能得到合理的滤波结果，导致速度非常慢，执行时需要消耗大量的时间；深度学习方法[13][14][15][16]可以解决传统方法速度慢的缺点，因为深度神经网络在测试阶段仅需一次前向传播操作，但目前的深度学习方法仅能得到一个尺度的滤波结果，无法一次性得到多个不同尺度的图像，对于不同尺度的平滑结果需要设置不同的超参数并重新训练。PIO[5]能够在不重新训练神经网络的情况下调整网络的超参数来得到不同尺度的滤波结果。然而，对于目前所有的传统方法和深度学习方法，得到不同尺度的滤波结果的方式均需通过调整模型的超参数(如不同损失函数的权重，网络的层数以及其他参数)来实现，不够直观。因为模型的超参数只是一个数，一个标量，无法直观地反映图像的空间和语义信息。换句话说，超参数无法直观地控制图像中那些部分需要被平滑，哪些部分应该被保持。

长期以来，图像多尺度表示的重要性得到了充分的验证，由此产生了尺度空间滤波的思想。类似于人的眼睛观察物体，在离物体的距离不同时，所感知的特征是不一样的，也就是对于视觉范围内的同一物体，当成像的大小不同时，也就是尺度不同时，表现出的特征不相同。尺度空间一个直观的例子就是地图的不同尺度，尺度大的地图可以了解到一个省甚至一个国家的位置信息，尺度小的地图可能只能但会详细地了解到一个城镇的位置信息。根据人类视觉机制和尺度空间理论，人们通常在不同的尺度上获得不同的信息，但当用一个计算机的视觉系统来分析未知场景时，计算机没有办法预先知道图像中物体的尺度，因此，需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。所以在很多时候，会在将图像构建为一系列不同尺度的图像集，在不同的尺度中去检测感兴趣的特征。简单地说，较大的尺度更多地提供了关于某一场景的结构信息，而较小的尺度则更多地反映了纹理信息。

在已有的各类文献中，各种图像滤波方法都试图将图像分解成单一尺度的结构和纹理部分。然而，对于不同的图像和任务，很难有一个合理的方法来确定哪些尺度是正确的或最好的。与其消除尺度上的歧义性和寻求一个最佳的图像分离策略，不如以一种有组织、自然和高效的方式来分离图像，以此得到在尺度上有差异的多个结果供用户挑选。建立图像的多尺度表示应该是一个非常有用的功能，因为用户希望在各种多媒体、计算机视觉和图形学的应用中调整和选择最满意的结果。尺度空间滤波在多媒体、计算机视觉和图形学的应用包括图像恢复、图像风格化、立体匹配、光流和语义流等。

在过去的几十年里，通过对人眼感知外部世界原理的研究，计算机视觉和多媒体领域越来越重视层级地或多尺度地对图像进行组织。以图像分割为例，图像可以在空间上分割成一组对象实例或超像素，这些分割的对象实例或超像素可作为后续进一步处理的基础。与图像分割不同，从信息抽离的角度出发，探讨了另一种层级的图像组织方式。把这个任务称为图像分离，以区别于图像分割。

其中，Image smoothing via unsupervised learning这项工作探索如何直接利用深度神经网络对数据进行学习(没有监督数据)来产生理想的滤波效果。利用深度学习的优势是既能够产生不错的滤波效果，也能具有更快的速度。然而，深度学习在训练时往往需要真实的滤波图像(GroundTruth,GT)作为监督数据，这些监督数据往往很难获得。手动标记训练图像的监督数据又费时费力。为了解决这一问题，这项工作将训练目标设计为一个损失函数，类似于基于优化的方法，在无监督、无标签的情况中训练深度神经网络。这项工作的主要贡献可总结为：