[发明专利]游戏超分辨率

说明书

提供了一种处理装置，所述处理装置包括存储器和处理器。所述处理器被配置成接收具有第一分辨率的输入图像，经由线性放大网络通过对所述输入图像进行下采样来生成所述输入图像的线性下采样版本，并且经由非线性放大网络通过对所述输入图像进行下采样来生成所述输入图像的非线性下采样版本。所述处理器还被配置成将所述输入图像的所述下采样版本转换成具有高于所述第一分辨率的第二分辨率的输出图像的像素，并提供所述输出图像以供显示。

相关申请的交叉引用

本申请要求于2019年11月18日提交的美国专利申请No.16/687,569的利益，所述美国专利申请以引用的方式并入本文，就如同在本文中全面阐述的一样。

背景技术

超分辨率是经由神经网络放大原始图像(例如，视频图像、照片)以提取比原始图像中存在的信息量更多的信息(例如，细节)的过程。超分辨率技术使用来自不同图像或帧的信息来创建放大的图像。从序列中的每个图像中提取细节以重构其他图像。

附图说明

可从结合附图以举例的方式给出的以下描述中获得更详细的理解，在附图中：

图1是其中可实现本公开的一个或多个特征的示例装置的框图；

图2是图1的装置的框图，示出了额外的细节；

图3是示出根据本公开的特征的对图像进行超分辨的示例方法的流程图；

图4是示出图3中示出的方法的更详细示例的流程图；并且

图5是根据本公开的特征使用子像素卷积将低分辨率图像转换成高分辨率图像的图示。

具体实施方式

常规的超分辨率技术包括多种常规的神经网络架构，所述神经网络架构通过使用线性函数放大图像来执行超分辨率。然而，这些线性函数没有利用其他类型信息(例如，非线性信息)的优势，这通常会导致图像模糊和/或损坏。另外，常规的神经网络架构是具有普遍性，并且被训练以在不具有对当前问题的重要认识的情况下进行操作。其他常规的超分辨率技术使用深度学习方法。然而，深度学习技术并没有并入原始图像的重要方面，导致颜色丢失和细节信息丢失。

本申请提供了对图像进行高效超分辨的装置和方法，所述装置和方法在保留图像的原始信息的同时对图像进行放大并且提高保真度。所述装置和方法在完全了解的环境中利用线性和非线性上采样。

所述装置和方法包括游戏超分辨率(GSR)网络架构，所述网络架构以卷积和具有普遍性的方式有效地对图像进行超分辨。GSR架构采用图像压缩以及线性运算和非线性运算的组合来加速游戏可行水平的过程。GSR以低质量等级渲染图像，以创建高质量的图像近似并达成高帧速率。通过将卷积层和激活函数的具体配置应用于低质量参考图像来近似高质量参考图像。通过用图像的语料库来训练卷积层的权重，GSR网络比常规的超分辨率技术更准确且更有效地近似更一般的问题。

提供了一种处理装置，所述处理装置包括存储器和处理器。处理器被配置成接收具有第一分辨率的输入图像，经由线性放大网络通过对输入图像进行下采样来生成输入图像的线性下采样版本，并且经由非线性放大网络通过对输入图像进行下采样来生成输入图像的非线性下采样版本。处理器还被配置成将输入图像的下采样版本转换成具有高于第一分辨率的第二分辨率的输出图像的像素，并提供输出图像以供显示。

提供了一种处理装置，所述处理装置包括存储器和处理器，所述处理器被配置成接收具有第一分辨率的输入图像。处理器还被配置成经由非线性放大网络生成输入图像的多个非线性下采样版本，并且经由线性放大网络生成输入图像的一个或多个线性下采样版本。处理器还被配置成组合非线性下采样版本和一个或多个线性下采样版本以提供多个经组合的下采样版本。处理器还被配置成通过向输出图像的多个像素块中的每个指派经组合的下采样版本中的每个中的同位像素将输入图像的经组合的下采样版本转换成具有高于第一分辨率的第二分辨率的输出图像的像素，并提供输出图像以供显示。