[发明专利]使用视觉输入进行代理导航

摘要

方法、系统和装置，包括在计算机存储介质上编码的、用于使用视觉输入进行导航的计算机程序。所述系统中的一个系统包括绘图子系统，其被配置为在多个时间步中的每个时间步处根据该时间步处的环境的图像来生成环境的表征，其中，该表征包括标识环境中的、具有特定特性的位置的环境地图，并且其中，生成表征包括对于每个时间步：在该时间步处获得环境的图像，处理图像以生成针对该时间步的第一初始表征，获得针对先前时间步的最终表征，处理针对先前时间步的表征以生成针对该时间步的第二初始表征，并组合第一初始表征和第二初始表征以生成针对该时间步的最终表征。

主权项

1.一种系统，包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在被执行时使得所述一个或多个计算机实现：绘图子系统，所述绘图子系统被配置为在多个时间步中的每个时间步处根据该时间步处的环境的图像来生成所述环境的表征，其中，所述表征包括标识所述环境中的、具有特定特性的位置的环境地图，并且其中，生成所述表征包括对于每个时间步：在该时间步处获得所述环境的所述图像，其中，所述图像是由在所述环境中移动的代理捕获的图像，使用神经网络处理所述图像以生成针对该时间步的所述环境的第一初始表征，获得针对该时间步之前的先前时间步的所述环境的最终表征，获得所述代理在该先前时间步和该时间步之间的移动量度，处理针对该先前时间步的所述环境的表征以生成针对该时间步的所述环境的第二初始表征，包括将可微分的扭曲函数应用于针对该先前时间步的所述环境的最终表征和所述移动量度以生成所述第二初始表征；以及组合所述第一初始表征和所述第二初始表征以生成针对该时间步的所述环境的最终表征。