[发明专利]对物理系统的未来状态进行对象级预测

说明书

一种由一台或多台计算机实施的系统包括视觉编码器组件，该视觉编码器组件被配置为接收表示图像帧序列的数据作为输入，特别是表示该序列的场景中的对象的数据，并输出对应的状态码序列，每个状态码包括向量，一个向量用于每个对象。每个向量表示其对应的对象的相应位置和速度。该系统还包括动态预测器组件，该动态预测器组件被配置为采用例如来自视觉编码器的状态码序列作为输入，并且预测下一个未观察帧的状态码。该系统还包括状态解码器组件，该状态解码器组件被配置成将预测状态码转换成状态，该状态包括场景中每个对象的相应位置和速度向量。该状态可以表示每个对象的预测位置和速度向量。

相关申请的交叉引用

本申请要求于2017年5月19日在美国提交的第62/509，049号美国专利申请“对物理系统的未来状态进行对象级预测”的权益，该专利申请通过引用并入本文。

背景技术

本说明书涉及可以被训练来预测物理系统的未来状态的机器学习模型。

神经网络是采用一层或多层非线性单元来针对接收到的输入预测输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层(即下一个隐藏层或输出层)的输入。网络的每一层根据相应参数集的当前值来从接收到的输入生成输出。

一些神经网络是递归神经网络。递归神经网络(recurrent neural network，RNN)是接收输入序列并从输入序列生成输出序列的神经网络。具体而言，递归神经网络可以在计算当前时间步长的输出时使用来自先前时间步长的网络的一些或全部内部状态。递归神经网络的示例是包括一个或多个长短期(long short term，LSTM)记忆块的LSTM神经网络。每个LSTM记忆块可以包括一个或多个单元，每个单元包括输入门、遗忘门和输出门，这些门允许单元存储例如用于生成电流激励或要被提供给LSTM神经网络的其他组件的单元的先前状态。

一些神经网络是卷积神经网络。卷积神经网络是假设输入是图像的一种前馈神经网络。通常，图像可以被认为表示为体积(volume)，即针对多个通道中每个通道的像素值矩阵。通道通常是颜色通道。卷积神经网络层具有对应于输入数据维度的按三维排列的计算神经元。三种类型的层用于构建卷积神经网络:一个或多个卷积层、一个或多个池化层以及一个或多个完全连接层。这些层中的每一层都从激励的输入体积生成激励的输出体积。简单卷积神经网络的层序列可以是，例如，保存图像像素值的输入层，随后是计算连接到输入中局部区域的神经元的输出的卷积层，其中每个卷积层计算神经元的权重和输入体积中小区域之间的点积。根据卷积层中应用的滤波器的数量，得到的体积可以更大或更小。在本示例中，该层之后是ReLU(整流线性单元)层，该层对每个元素应用非线性激励函数，诸如max(0，input)。在本示例中，该层之后是池化层，它沿着体积的宽度和高度执行向下采样(down-sampling)，然后是计算分类分数的完全连接层。完全连接层中的每个层接收池化层中生成的所有值。

发明内容

本说明书描述了实施视觉交互网络(visual interaction network，VIN)的系统，该视觉交互网络从视频中学习物理，并且可以对对象之间的短期和长期空间交互进行编码。一个示例系统组合了交互网络和深度卷积神经网络。该系统具有基于卷积神经网络的感知前端和基于交互网络的动态预测器。通过联合训练，感知前端学会将动态视觉场景解析成一组分解的潜在对象表示。动态预测器通过计算这些表示的交互和动态来学会及时地将表示向前滚动，从而产生任意长度的预测物理轨迹。