[发明专利]游戏应用程序中利用基于深度学习的预测的延迟管理

权利要求书

1.一种用于减少游戏应用程序中的延迟的方法，所述方法包括：

获得(305B)第一帧，所述第一帧表示在所述游戏应用程序中由用户执行的第一动作；

获得(500)表示在所述游戏应用程序中由所述用户执行的第二动作的信息，所述第二动作在所述第一动作之后；以及，

使用神经网络从至少包括所述第一帧和表示第二动作的所述信息的数据预测(500)对应于所述第二动作的第二帧。

2.根据权利要求1所述的方法，其中所述方法还包括显示所述第二帧。

3.根据权利要求1或2所述的方法，其中所述方法还包括连同所述第一帧一起获得元数据，所述元数据至少表示在对应于所述第一动作的时间时游戏的状态和/或表示所述第一动作，使用所述神经网络从所述元数据进一步预测所述第二帧。

4.根据权利要求3所述的方法，其中表示所述游戏的状态的所述元数据包括表示所述用户的信息和/或表示动态对象和/或表示所述游戏中的其他用户的信息。

5.根据任一前述权利要求所述的方法，其中所述神经网络使用以下参数：

使用在所述游戏应用程序的离线执行期间收集的表示帧、用户动作和所述游戏的状态的数据进行离线训练的；或者，

使用在所述游戏应用程序的当前执行期间收集的表示帧、用户动作和所述游戏的状态的数据进行联机训练的；或者，

使用参数在所述游戏应用程序的执行开始时进行初始化的，所述参数是使用在所述游戏应用程序的离线执行期间收集的表示帧、用户动作和所述游戏的状态的数据进行离线训练的，并且然后使用在所述游戏应用程序的当前执行期间收集的表示帧、用户动作和所述游戏的状态的数据进行联机训练的。

6.根据权利要求5所述的方法，其中所述神经网络的所述参数的训练考虑到所述第一动作的发生与所述第一帧的获得之间的时间差。

7.根据权利要求6所述的方法，其中，当对所述神经网络的所述参数进行离线训练时，训练多个参数集，每个参数集针对被称为离线时间差的不同的时间差值进行训练，并且其中，在所述游戏应用程序的当前执行期间，所述方法包括选择所述多个参数集中对应于最接近表示实际时间差的信息的离线时间差的参数集。

8.根据权利要求2至7中任一前述权利要求所述的方法，其中所述神经网络的所述参数的所述训练使用损失函数，所述损失函数估计由所述神经网络预测的对应于所述第二动作的所述第二帧与由所述游戏应用程序生成的对应于相同的第二动作的实际帧之间的差，并且其中仅显示所述第二帧的被称为显示的部分的子部分，所述损失函数仅考虑所述显示的部分。

9.根据任一前述权利要求所述的方法，其中所述游戏应用程序是基于网络的游戏应用程序，其中游戏由经由网络(3)与客户端系统(2)通信的服务器(1)管理，所述方法由所述客户端系统执行，其中：

所述第一动作由所述用户在第一时间执行并且由所述客户端系统注册(200)，并且将表示所述第一动作的信息传输(301A)到所述服务器；以及；

通过对从所述服务器接收(305B)的视频流的一部分进行解码(306bis)来获得所述第一帧和/或所述元数据。

10.根据权利要求9所述的方法，其中，所述视频流的所述一部分包括表示与所述第一帧相关联的所述第一动作的元数据。

11.根据权利要求11所述的方法，其中表示所述第一动作的所述元数据表示所述第一动作被执行时的时间。

12.根据权利要求9、10或11所述的方法，其中所述元数据包括表示实际时间差的所述信息。

13.根据权利要求9、10、11或12所述的方法，其中所述元数据由SEI消息输送。