[发明专利]对物理系统的未来状态进行对象级预测

权利要求书

1.一种由一台或多台计算机实施的系统，该系统包括:

视觉编码器组件，被配置为:

接收表示图像帧序列的数据作为输入，并输出对应的状态码序列，每个状态码包括向量，一个向量用于序列的场景中的每个对象，其中每个向量表示其对应的对象的相应位置和速度；

动态预测器组件，被配置为:

将状态码序列作为输入，并预测下一个未观察帧的状态码；以及状态解码器组件，被配置为:

将状态码转换成状态，所述状态包括场景中的每个对象的相应位置和速度向量。

2.根据权利要求1所述的系统，其中：

每个状态码和状态各自都是位置和速度向量的列表。

3.根据权利要求1或2所述的系统，其中:

所述系统被配置为以滑动窗口的方式对帧序列应用视觉编码器，以产生状态码序列。

4.根据权利要求1、2或3所述的系统，其中:

所述动态预测器组件包括几个交互网络组件，每个交互网络组件被配置为采用在不同的时间偏移处的输入并产生候选状态码；以及

所述动态预测器组件被配置为通过多层感知器聚合所述候选状态码，以产生图像帧的输入序列之后的下一帧的预测状态码。

5.根据权利要求4所述的系统，其中：

时间偏移是1、2和4。

6.根据权利要求4或5所述的系统，其中:

对于输入状态码序列，对于每个偏移t，单独的交互网络组件根据索引t处的输入状态码计算候选预测状态码。

7.根据权利要求1-6中任一项所述的系统，其中:

所述动态预测器组件被配置为递归神经网络，并被训练为预测预定数量的未见的帧中的每个帧的状态。

8.一种用指令编码的计算机存储介质，当由一台或多台计算机执行时，所述指令使所述一台或多台计算机实施权利要求1至7中任一项的系统。

9.一种方法，包括：

接收表示图像帧序列的数据，并从图像帧生成对应的状态码序列，每个状态码包括一组对象码，每个对象码用于序列中的最终输入帧中的每个对象，其中该组对象码表示序列中的最终输入帧中每个对象的相应位置；

从状态码序列生成下一个未观察帧的预测状态码；以及

将预测状态码转换成状态。

10.根据权利要求9所述的方法，还包括:

执行权利要求1至7中任一项所述的操作。

11.一种用指令来编码的计算机存储介质，当由一台或多台计算机执行时，所述指令使所述一台或多台计算机执行权利要求9或10所述的操作。

12.根据权利要求11所述的计算机存储介质，进一步用指令来编码，当由一台或多台计算机执行时，所述指令使得所述一台或多台计算机执行权利要求1至7中任一项所述的操作。

13.一种用于训练视觉交互网络系统的方法，包括:

使用训练损失来训练系统以从输入图像帧序列预测未见的图像帧序列，所述训练损失是预定数量的未见的帧中的每一帧的相应误差项的加权和。

14.根据权利要求13所述的方法，其中，所述系统包括：

视觉编码器组件，被配置为:

接收表示图像帧序列的数据作为输入，并输出对应的状态码序列，每个状态码包括向量，一个向量用于序列的场景中的每个对象，其中每个向量表示其对应的对象的相应位置和速度；

动态预测器组件，被配置为:

将状态码序列作为输入，并预测下一个未观察帧的最终状态码；以及状态解码器组件，被配置为:

将状态码转换成状态，所述状态包括场景中每个对象的位置和速度向量。