[发明专利]利用递归神经网络的姿态预测

说明书

本公开涉及利用递归神经网络的姿态预测。描述了系统、方法和计算机程序产品，其用于接收对增强现实体验的头部姿态预测的请求，标识与增强现实体验相关联的至少一个位置指示器和至少一个旋转指示器，并且将该至少一个位置指示器和该至少一个旋转指示器提供给包括多个神经元的递归神经网络(RNN)。RNN可以包括多个递归步，每个递归步均包括该多个神经元中的至少一个和至少一个全连接(FC)层。RNN可以用于生成与针对至少一个即将到来的时间段的用于增强现实体验的头部姿态变化相对应的至少一个姿态预测，提供该至少一个姿态预测并基于该至少一个姿态预测来触发增强现实内容的显示。

技术领域

本公开涉及虚拟现实(VR)和/或增强现实(AR)体验和/或混合现实(MR)，并预测与访问这种体验的用户相关联的姿态。

背景技术

在沉浸式体验中，诸如由虚拟现实(VR)系统或增强现实(AR)系统生成的体验，跟踪可以提供对当在VR/AR体验中时用户未来运动的洞察。可以通过对用户接下来可以移动到的地方的预测来补充跟踪。当诸如在启用VR/AR的设备的同一位置的基站上远程跟踪和/或渲染VR/AR内容时，可能会从设备到渲染服务器并且返回设备的往返时间引入延迟。引入的延迟可能会导致预测用户运动的准确性方面的错误。

发明内容

一个或多个计算机的系统可以被配置成借助于具有在系统上安装的软件、固件、硬件或它们的组合来执行特定操作或动作，该软件、固件、硬件或它们的组合在操作中使该系统执行动作。一个或多个计算机程序可以被配置成借助于包括指令来执行特定操作或动作，所述指令在由数据处理装置执行时使该装置执行动作。

在一个总体方面，描述一种计算机实现的方法。该计算机实现的方法包括：接收对用于增强现实体验的头部姿态预测的请求；标识与增强现实体验相关联的至少一个位置指示器和至少一个旋转指示器；以及向包括多个神经元的递归神经网络(RNN)提供至少一个位置指示器和至少一个旋转指示器。RNN可以包括多个递归步(recurrent step)，每个递归步均包括多个神经元中的至少一个神经元和至少一个全连接(FC)层。多个神经元中的至少一些神经元可以与历史时间段相关联。该计算机实现的方法还可以包括：使用RNN来生成与针对至少一个即将到来的时间段的用于增强现实体验的头部姿态变化相对应的至少一个姿态预测；以及响应于该请求提供该至少一个姿态预测并且基于该至少一个姿态预测来触发增强现实体验中的增强现实内容的显示。

该计算机实现的方法的特定实施方式可以包括以下特征中的任何一个或全部。所述至少一个位置指示器可以是三维头部位置矢量，并且所述至少一个旋转指示器可以是四维四元数。在一些实施方式中，至少一个旋转指示器包括偏航、俯仰和翻滚。在一些实施方式中，至少一个旋转指示器可以是三维矢量，该三维矢量具有表示旋转量的大小和表示旋转轴的方向。

在一些实施方式中，RNN被配置成基于至少一个姿态预测生成附加候选预测并且确定每个附加候选预测的均方误差，该均方误差指示是否丢弃相应的附加头部姿态预测。在一些实施方式中，RNN被配置成递归地确定针对在另外的即将到来的时间段内的头部姿态变化的附加预测。

在一些实施方式中，接收对头部姿态预测的请求包括通过网络从客户端设备接收历史头部姿态数据。在一些实施方式中，提供针对头部姿态变化的至少一个姿态预测包括基于针对头部姿态变化的至少一个姿态预测通过网络向客户端设备提供增强现实体验中的渲染内容。

在另一个总体方面，一种用于预测虚拟现实环境中的姿态的计算机实现的方法包括：获得与虚拟现实环境中的用户移动相对应的历史姿态数据；生成包括根据历史姿态数据确定的姿态特征的第一历史矢量序列；以及使用第一历史矢量序列执行递归神经网络(RNN)，来确定针对即将到来的时间段的第一姿态预测。RNN可以包括多个长短期记忆(LSTM)神经元和至少一个全连接神经网络层。该计算机实现的方法可以进一步包括：使用RNN和第一历史矢量序列，生成针对即将到来的时间段的第一姿态预测；和响应于接收到第一姿态预测和多个LSTM神经元中的至少一个神经元的状态，使用RNN，递归生成针对后续时间段的多个附加姿态预测。