[发明专利]使用卷积神经网络的超分辨率

说明书

一种用于超分辨率成像的装置包括卷积神经网络(104)，用于接收低分辨率帧(102)并且生成高分辨率亮度分量帧。该装置还包括硬件缩放器(106)，用于接收低分辨率帧(102)并且生成第二高分辨率色度分量帧。该装置还包括组合器(108)，用于将高分辨率亮度分量帧和高分辨率色度分量帧相组合，以生成高分辨率帧(110)。

背景技术

超分辨率(super-resolution，SR)成像是一类提高由成像系统处理的图像的分辨率的技术。例如，低分辨率图像可以利用各种SR技术被转换为具有改善的细节的高分辨率图像。

附图说明

图1是图示出用于使用可缩放神经网络的超分辨率的示例系统的框图；

图2是图示出用于超分辨率的示例可缩放卷积神经网络的框图；

图3是图示出用于训练用于超分辨率的可缩放卷积神经网络的示例系统的流程图；

图4是示出用PReLU激活函数替换ReLU激活函数的一对图线；

图5是图示出用于利用自相似性损失来训练用于超分辨率的可缩放卷积神经网络的示例系统的框图；

图6是图示出用于训练用于超分辨率的可缩放卷积神经网络的方法的过程流程图；

图7是图示出用于利用自相似性损失来训练用于超分辨率的可缩放卷积神经网络的方法的过程流程图；

图8是图示出用于使用可缩放神经网络的超分辨率的方法的过程流程图；

图9是图示出用于使用具有PReLU激活的可缩放神经网络的超分辨率的方法的过程流程图；

图10是图示出能够使用可缩放神经网络来执行超分辨率的示例计算设备的框图；并且

图11是示出存储用于使用可缩放神经网络来执行超分辨率的代码的计算机可读介质的框图。

相同的数字在本公开和附图各处始终被用于提及相似的组件和特征。100系列的数字指代最初出现于图1中的特征；200系列的数字指代最初出现于图2中的特征；等等。

具体实施方式

基于深度学习的超分辨率可用于将低分辨率图像和视频帧恢复为高分辨率图像和视频帧。当前，基于深度学习的方法可以基于通过某些降采样技术获得的低分辨率和高分辨率图像对来进行训练过程。例如，可以使用传统的超分辨率技术，该技术使用通过双三次滤波器降尺度的低分辨率图像。例如，传统的超分辨率技术可以使用通过双三次滤波器降尺度的低分辨率图像。一些盲目的超分辨率系统可以通过将双三次滤波器与使用多个内核的高斯平滑结合起来，来进一步改进这这个降尺度过程。这种训练过程可能适用于自然内容。然而，在屏幕或游戏内容中，严重的过冲和欠冲伪影可能会在尖锐边缘的升尺度之后被观察到。如本文所使用的，过冲伪影是在边缘附近以虚假条带或者“鬼影”形式出现的伪影。过冲伪影也可以被称为振铃伪影。自然内容是包含相机捕捉的视频场景的视频。例如，自然内容可能包含较少的尖锐边缘。屏幕内容是包含很大一部分渲染的图形(不包括游戏)、文本或者动画而不是相机捕捉的视频场景的视频。游戏内容是很大一部分渲染的游戏。

对于基于深度学习的超分辨率，有时使用两种方法来实现更高质量的输出。例如，深度卷积网络可被用作传统缩放器的后处理模型，以增强通过传统方法(例如，双线性、双三次、Lanczos滤波器，等等)调整大小的图像和视频的细节。然而，这可能会给推理设备引入很大的计算工作负载，尤其是当图像或视频的输入分辨率很高时。另一种实现更高质量输出的方式是直接将低分辨率图像或者视频帧作为输入，然后利用卷积网络来恢复高分辨率图像的细节。例如，卷积网络可被用来将一系列的神经网络层首先应用到低分辨率视频帧，以精确导入用于恢复高分辨率细节的特征图谱。此后，专用的神经网络层可以将低分辨率特征图谱升尺度到高分辨率输出。以这种方式，工作负载的一部分可以被转移到低分辨率特征。与先前方式相比，以这种方式转移工作负载可以减少计算和带宽开销，因为大部分的计算可以在低分辨率而不是高分辨率上进行。