[发明专利]提升云游戏流畅度的方法及系统

说明书

本发明提供一种提升云游戏流畅度的方法，属于图像处理技术领域，包括接收服务器端使用低分辨率渲染的游戏画面视频流；对视频流进行解码获得视频画面；对解码后的视频画面进行上采样，生成游戏画面，用于客户端显示。本发明通过超分辨率方法降低服务器端的游戏画面分辨率，降低服务器端GPU的渲染量，减少由于GPU负载过重产生的卡顿现象；通过超分辨率方法降低服务器端的游戏画面分辨率，减少需要传输至客户端的数据量，减少由于网络传输导致的云游戏卡顿与延时现象；能够降低服务器端的游戏画面分辨率，降低了服务器端的GPU性能需求，渲染游戏时可换用廉价的低性能GPU，从而降低云游戏服务器设备成本。

技术领域

本发明涉及图像处理技术领域，具体涉及一种提升云游戏流畅度的方法及系统。

背景技术

云游戏是以云计算为基础的游戏方式。在云游戏的运行模式下，所有游戏均在服务器端运行，并将渲染完毕的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压与显示能力即可。

图像超分辨率重建技术是利用LR(低分辨率)图像恢复对应的HR(高分辨率)图像从而提高图像分辨率的技术。超分辨率重建技术可以分为两种，一种是非深度学习方法，即传统超分辨率方法实现图像重建，另一种是深度学习方法，即利用卷积神经网络实现图像特征提取、映射和重建工作。

视频由连续的图像组成，视频超分辨率重建技术是指从相应的低分辨率视频版本生成对应的高分辨率视频版本的技术。帧率是指视频或游戏画面每秒钟刷新图像的帧数，测量单位为FPS(每秒显示帧数)。帧率越高，视频与游戏画面就会越流畅。为了保证用户的良好游戏体验，通常游戏画面帧率不会低于30FPS，最佳游玩帧率为60FPS或120FPS。

目前云游戏实现的方式为：在服务器端进行游戏画面渲染并将其编码成视频流，将视频流传输至客户端，客户端对视频流进行解码与显示。

为了让用户获得高质量的游玩体验，云游戏会使用较高的画面帧率与分辨率。通常云游戏的画面帧率不会低于30FPS，画面分辨率不会低于1920×1080。高帧率与高分辨率会产生大量需要传输的视频流数据，这对服务器端与客户端之间的网络传输速率提出了非常高的要求，如果服务器端与客户端之间的网络速率达不到要求，云游戏便会出现卡顿与延时，从而严重影响游玩体验。

此外，如果服务器端与客户端的网络状况不稳定，网络传输速率忽快忽慢，云游戏也会发生卡顿现象。在游戏画面渲染与编码的过程中，为了提升编码效率，通常会直接使用GPU(图形处理器)进行编码。然而游戏画面渲染也会使用GPU，因此，若游戏渲染量过大，会造成GPU负载过重，进而导致GPU编码时间变长，会造成云游戏卡顿。

发明内容

本发明的目的在于提供一种提升云游戏流畅度的方法及系统。以解决上述背景技术中存在的至少一项技术问题。

为了实现上述目的，本发明采取了如下技术方案：

一方面，本发明提供一种提升云游戏流畅度的方法，包括：

接收服务器端使用低分辨率渲染的游戏画面视频流；对视频流进行解码获得视频画面；对解码后的视频画面进行上采样，生成上采样超分辨率游戏画面，在客户端进行显示。

优选的，使用插值上采样算法对解码后的视频画面进行上采样，生成上采样游戏画面。

优选的，对上采样游戏画面进行锐化处理后，用于客户端显示。

优选的，所述插值上采样算法的上采样倍率为客户端需要显示的画面分辨率尺寸与服务器端渲染的游戏画面尺寸的比值。

优选的，所述插值上采样算法为Lanczos插值、最邻近插值、双线性二次插值或双三次插值。

优选的，使用超分辨率模型对解码后的视频画面进行上采样，生成超分辨率游戏画面，将所述超分辨率游戏画面用于客户端显示。