[发明专利]3D游戏流传输场景中的航位推测和延时改进

权利要求书

1.一种计算机设备，包括：

存储器，存储数据和指令；

中央处理单元，与所述存储器通信；

网络接口，与通信网络被通信地耦合；

客户端应用和显示控制组件，与所述存储器、所述中央处理单元和所述网络接口通信，可操作以：

经由所述网络接口向流传输服务器传输视频游戏控制；

经由所述网络接口从所述流传输服务器接收视频流，所述视频流对响应于所述视频游戏控制而被生成的视频图像编码；

维持指示虚拟相机相对于所述视频图像的位置的相机矩阵，

确定要在帧中显示的所述视频流的视频图像在所述帧的显示之前的指定时间尚未被完全接收到；

至少基于所述视频图像的历史、针对所述视频流的运动矢量和所述相机矩阵来确定图像变换；

将所述图像变换应用于与一个或多个先前帧对应的一个或多个图像的至少一部分，以生成替代视频图像；以及

响应于要在所述帧中显示的所述视频图像在所述指定时间未被完全接收到的所述确定，在所述帧中显示包括已变换的图像的所述至少一部分的所述替代视频图像。

2.根据权利要求1所述的计算机设备，其中所述显示控制组件被配置为从对所述视频流的所述编码提取所述运动矢量。

3.根据权利要求1所述的计算机设备，其中所述图像变换是与所述一个或多个先前帧对应的所述一个或多个图像的所述一部分的重新投影，其中所述显示控制组件被配置为确定针对与所述一个或多个先前帧对应的所述一个或多个图像的点的深度值，并且其中所述重新投影基于所述深度值。

4.根据权利要求3所述的计算机设备，其中所述显示控制组件被配置为将针对所述视频游戏而被训练的机器学习模型应用于与所述一个或多个先前帧对应的所述一个或多个图像，以确定所述深度值。

5.根据权利要求1所述的计算机设备，其中所述显示控制组件被配置为应用机器学习模型，以对与所述一个或多个先前帧对应的所述一个或多个图像执行分段，并且将所述运动矢量应用于所标识的图像分段。

6.根据权利要求1所述的计算机设备，其中所述客户端应用被配置为从所述流传输服务器接收深度信息。

7.根据权利要求1所述的计算机设备，其中所述客户端应用被配置为从所述流传输服务器周期性地接收已更新相机矩阵。

8.根据权利要求1所述的计算机设备，其中所述客户端应用被配置为从所述流传输服务器接收与所述视频图像对应的几何表示。

9.一种用于在计算机设备上玩流传输视频游戏的方法，包括：

向流传输服务器传输视频游戏控制命令；

从所述流传输服务器接收视频流，所述视频流对响应于所述视频游戏控制而被生成的视频图像编码；

确定要在帧中显示的所述视频流的视频图像在所述帧的显示之前的指定时间尚未被完全接收到；

至少基于所述视频图像的历史和针对所述视频流的运动矢量来确定图像变换，其中确定所述图像变换包括维持指示虚拟相机相对于所述视频图像的位置的相机矩阵，并且其中所述图像变换基于所述相机矩阵；

将所述图像变换应用于与一个或多个先前帧对应的一个或多个图像的至少一部分，以生成替代视频图像；以及

响应于要在所述帧中显示的所述视频图像在所述指定时间未被完全接收到的所述确定，在所述帧中显示包括已变换的先前显示的图像的所述至少一部分的所述替代视频图像。

10.根据权利要求9所述的方法，其中确定所述图像变换包括从对所述视频流的所述编码提取所述运动矢量。

11.根据权利要求9所述的方法，其中确定所述图像变换包括确定针对与所述一个或多个先前帧对应的所述一个或多个图像的点的深度值，并且其中所述图像变换是基于所述深度值的、与所述一个或多个先前帧对应的所述一个或多个图像的所述一部分的重新投影。