[发明专利]3D游戏流传输场景中的航位推测和延时改进

说明书

本文中描述的示例总体上涉及用于在客户端设备处流传输视频游戏的系统和方法。客户端设备可以向流传输服务器传输视频游戏控制。客户端设备可以从流传输服务器接收视频流，视频流对响应于视频游戏控制而被生成的视频图像编码。客户端设备可以确定要在帧中显示的视频流的视频图像在帧的显示之前的指定时间尚未被完全接收到。客户端设备可以基于视频图像的历史和针对视频流的运动矢量来确定图像变换。客户端设备可以将图像变换应用于与先前帧对应的一个或多个图像的一部分。客户端设备可以在帧中显示包括已变换图像的一部分的替代视频图像。

背景技术

本公开涉及流传输视频游戏，并且更具体地涉及减轻流传输视频游戏中的延时。

流传输视频游戏可以被定义为如下视频游戏：其中客户端设备经由网络向运行游戏的服务器提供控制命令，服务器对控制命令进行动作以生成视频流，视频流经由网络被发送到客户端设备以在客户端设备的屏幕上显示。流传输视频游戏可能不同于更常规的视频游戏，在常规视频游戏中，即使服务器执行某个处理，客户端设备也会绘出呈现给用户的视频图像。例如，在多玩家游戏中，服务器可以计算玩家之间的交互，但是服务器通常将场景信息发送到客户端设备以绘出视频图像。与在客户端设备上运行游戏相比，流传输视频游戏可以提供集中化游戏处理并且允许更薄、更不复杂的客户端设备和更不复杂的客户端软件的优势。例如，流传输视频游戏可以适用于可能缺少专用图形处理卡的移动设备。

流传输视频游戏可能会遇到用于流传输视频的通信网络的延时和延时变化(抖动)的问题。也就是说，由于网络延时，客户端设备可能在预期时间没有接收到视频分组。由于抖动，接收视频分组的实际时间可能难以预测。特别地，尽管无线网络提供足够的带宽来流传输视频，但是与具有类似带宽的有线网络相比，无线网络可能会经历更大的延时和抖动。

与传统的流传输视频(例如，电影)不同，缓冲可能不适用于流传输视频游戏，因为视频基于用户输入，因此要在将来的帧中呈现的视频图像是事先不可用的。另外，与其中客户端设备运行并行游戏引擎的常规多玩家游戏不同，用于流媒体游戏的客户端设备可能不具有当前游戏状态的信息。因此，当没有接收到用于显示的新的视频图像时，客户端设备可能会冻结。

因此，在本领域中需要改进用于计算机设备上的视频游戏流传输的图形处理。

发明内容

以下给出了本公开的一个或多个实现的简化概述，以提供对这样的实现的基本理解。该概述不是所有预期实现的广泛概述，并且既不旨在标识所有实现的关键或重要元素，也不旨在界定任何或所有实现的范围。其唯一目的是以简化的形式呈现本公开的一个或多个实现的一些概念，作为稍后呈现的更详细描述的序言。

一个示例实现涉及一种用于玩流传输视频游戏的计算机设备。该计算机设备可以包括：存储数据和指令的存储器；与存储器通信的中央处理单元；与通信网络被通信地耦合的网络接口；客户端应用；以及显示控制组件。该计算机设备可以可操作以经由网络接口向流传输服务器传输视频游戏控制。该计算机设备可以可操作以经由网络接口从流传输服务器接收视频流，视频流对响应于视频游戏控制而被生成的视频图像编码。该计算机设备可以可操作以确定要在帧中显示的视频流的视频图像在帧的显示之前的指定时间尚未被完全接收到。该计算机设备可以可操作以至少基于视频图像的历史和针对视频流的运动矢量来确定图像变换。该计算机设备可以可操作以将图像变换应用于与一个或多个先前帧对应的一个或多个图像的至少一部分，以生成替代视频图像。该计算机设备可以可操作以响应于要在帧中显示的视频图像在指定时间未被完全接收到的确定，在帧中显示包括已变换的图像的至少一部分的替代视频图像。