[发明专利]利用递归神经网络的姿态预测

权利要求书

1.一种计算机实现的方法，所述方法包括：

接收对用于虚拟现实体验的头部姿态预测的请求；

标识与所述虚拟现实体验相关联的至少一个位置指示器和至少一个旋转指示器；

将所述至少一个位置指示器和所述至少一个旋转指示器提供给包括多个神经元的递归神经网络(RNN)，所述RNN包括多个递归步，所述多个递归步中的每一个递归步均包括所述多个神经元中的至少一个神经元和至少一个全连接(FC)层，所述多个神经元中的至少一些神经元与历史时间段相关联；

使用所述RNN来生成与针对至少一个即将到来的时间段的用于所述虚拟现实体验的头部姿态变化相对应的至少一个姿态预测；以及

提供响应于所述请求的所述至少一个姿态预测并且基于所述至少一个姿态预测来触发所述虚拟现实体验中的虚拟现实内容的显示。

2.根据权利要求1所述的方法，其中，所述至少一个位置指示器是三维头部位置矢量并且所述至少一个旋转指示器是四维四元数。

3.根据权利要求1所述的方法，其中，所述至少一个旋转指示器包括：

偏航、俯仰和翻滚；或

三维矢量，所述三维矢量具有表示旋转量的大小和表示旋转轴的方向。

4.根据权利要求1所述的方法，其中，所述RNN被配置成：

基于所述至少一个姿态预测生成附加候选预测；并且

确定所述附加候选预测中的每一个附加候选预测的均方误差，所述均方误差指示是否丢弃相应的附加头部姿态预测。

5.根据权利要求1所述的方法，其中，所述RNN被配置成递归地确定针对在另外的即将到来的时间段的头部姿态变化的附加预测。

6.根据权利要求1所述的方法，其中：

接收对头部姿态预测的请求包括通过网络从客户端设备接收历史头部姿态数据；并且

提供针对头部姿态变化的所述至少一个姿态预测包括基于针对头部姿态变化的所述至少一个姿态预测通过所述网络向所述客户端设备提供所述虚拟现实体验中的渲染内容。

7.一种用于预测增强现实环境中的姿态的计算机实现的方法，所述方法包括：

获得与所述增强现实环境中的用户移动相对应的历史姿态数据；

生成包括根据所述历史姿态数据确定的姿态特征的第一历史矢量序列；

使用所述第一历史矢量序列执行递归神经网络(RNN)，来确定针对即将到来的时间段的第一姿态预测，所述RNN包括多个长短期记忆(LSTM)神经元和至少一个全连接神经网络层；

响应于接收到所述第一姿态预测和所述多个LSTM神经元中的至少一个LSTM神经元的状态而使用所述RNN来递归地生成针对后续时间段的多个附加姿态预测。

8.根据权利要求7所述的方法，其中，与所述增强现实环境中的用户移动相对应的所述历史姿态数据包括与所述用户移动相关联的速度或加速度测量结果。

9.根据权利要求7所述的方法，进一步包括：

基于在超出所述即将到来的时间段的对应的时间段内的所述附加姿态预测来确定用于显示增强现实内容的位置；以及

触发所述增强现实内容的渲染以用于在所述增强现实环境中显示。

10.根据权利要求7所述的方法，其中：

所述第一历史矢量序列表示至少部分地基于计算出的平均值和计算出的方差值而归一化的所述RNN的输入；并且

所述第一姿态预测和所述多个附加姿态预测是在确定用于显示增强现实内容的位置之前基于所述计算出的平均值和所述计算出的方差值来去归一化的。

11.根据权利要求7所述的方法，其中：

所述多个LSTM神经元中的每一个LSTM神经元的状态与下一个序列姿态预测一起被提供作为所述RNN的输入；并且

所述多个附加姿态预测至少部分地基于所述多个LSTM神经元中的每一个LSTM神经元的状态。