[发明专利]一种基于人车交互的LSTM神经网络行人轨迹预测方法

权利要求书

1.一种基于人车交互的LSTM神经网络行人轨迹预测方法，其特征在于：包括以下步骤：

A、构建人车交互的LSTM神经网络

所述的人车交互的LSTM神经网络包括行人轨迹输入、车辆轨迹输入、4个LSTM层和预测轨迹层，所述的4个LSTM层分别为LSTM层A、LSTM层B、LSTM层C和LSTM层D，所述的LSTM层A、LSTM层B、LSTM层C的输出端链接后输入到LSTM层D；所述的LSTM层A的输入端接收行人轨迹输入，所述的LSTM层B的输入端经人-人交互栅格地图连接收行人轨迹输入，所述的LSTM层C的输入端经方向权重计算模块和人-车交互栅格地图接收车辆轨迹输入，所述的LSTM层D的输出端为预测到的轨迹；

所述的LSTM层A对行人轨迹输入进行编码；

所述的LSTM层B对符合人-人交互栅格地图位置条件的行人轨迹输入进行编码；

所述的LSTM层C对方向权重计算模块的输出进行编码，所述的方向权重计算模块对符合人-车交互栅格地图位置条件的车辆轨迹输入进行编码；

所述的LSTM层D对LSTM层A、LSTM层B和LSTM层C链接后的输出进行解码和计算，得到预测的行人轨迹；

B、建立多层神经网络的输入

B1、输入当前行人轨迹

行人行走过程中，若没有其他障碍物阻挡，会沿原来的运动方向一直前进，若遇到其他车辆或行人，会修正自己的运动轨迹，这种修正行为最直观的体现在行人的前进的方向和速度上；行人会依据周边环境，修正自己的方向和速度，进而改变自己未来的轨迹；因此，在行人轨迹预测问题中，使用行人的前进方向和速度作为当前行人轨迹的输入变量；

首先假定每个场景中的行人以当前场景为标准坐标系，定义每个时刻的所有行人坐标，时间以帧为单位；将一段行人时间序列分为观察帧和预测帧，取t～t+obs为观察帧，t+obs+1～t+obs+pred为预测帧，其中obs、pred分别为观察帧和预测帧的长度，单位为帧数，则预测问题变成分段预测问题，其输入数据是行人在过去一段时间、每一帧相对于上一帧行人的转向角和行人的速度；具体公式如下：

其中，是观察帧序列中的行人i位置，是观察帧序列中行人i的速度，是t时刻行人i在x轴方向的速度，单位为m/s；是t时刻行人i在y轴方向的速度，单位为m/s；是观察帧序列中，行人i的方向角，单位为rad；是行人i的输入序列，是行人i的输出序列；

其中分别为第i个行人在第t时刻的x、y坐标；将输入值输入到步骤A中的LSTM层A，输出为：

其中是LSTM层A的输出，W₁是LSTM层A的权重；

B2、输入人-人交互信息

建立扇形栅格地图的方式来衡量当前预测行人周围的行人状况，以当前行人为圆心，r为半径的扇形区域为人-人社交感兴趣区域，在这个区域中的行人称为当前行人的“邻居”，将扇形区域划分为a×b个网格，构成栅格地图；将栅格地图写成a×b的矩阵的形式，不同网格之内的行人的数量构成a×b的矩阵中的元素，如下式所示：

其中，1_ab(·)是判定邻居行人j是否在感兴趣区域中网格(a,b)上的判别函数；若在网格(a,b)中则为1；N是半径为r的扇形感兴趣区域，是预测行人i与邻居行人j之间的欧氏距离，是被预测行人i与邻居行人j位置连线与扇形左侧边的夹角；

将作为输入，输入到步骤A中建立的LSTM层B中，则输出为：

是行人i在时刻t的LSTM层B的输出，W₂是LSTM层B的权重；

B3、输入人-车交互信息

建立圆形的栅格地图来表达车辆与行人交互的邻域，以当前行人为圆心R为半径，在圆形区域内的车辆为行人关注的车辆，将圆形地图分为m×n大小的四个网格，构建行人对车辆的地图矩阵如下：

其中，1_mn(·)是判定车辆j是否在感兴趣区域中网格(m,n)上的判别函数；若在网格(m,n)中则为1；N是半径为R的圆形兴趣区域，是车辆j在t时刻的横纵坐标；

由于车辆行驶方向相对固定，行人往往更关注于即将与自己相撞的车辆，若车辆与行人相对而行，行人大概率会修正自己的轨迹以避让或加速前进，若车辆与行人背道而行，车辆的运动状态对行人的影响相对较小；为了量化行人与车辆的方向对行人轨迹的影响，设计方向注意系数f_t^i,j来计算栅格地图上各点的权重：

其中分别是t、t-1时刻被预测行人i与车辆j之间的距离，c是校准方向系数；

因此，人-车交互输入V_tⁱ(m,n)为：

其中，是在t时刻、第i个行人对车辆的地图构建的矩阵，α_mn(m,n)用来判断第j个车辆是否在构建的地图内；因此步骤A中LSTM层C的输出为：

是行人i在t时刻的LSTM层C的输出，W₃是LSTM层C的权重；

C、建立人车交互的LSTM神经网络的输出

将步骤B中LSTM层A、LSTM层B和LSTM层C的三个输出链接到一起输入到LSTM层D中，输出预测的行人轨迹，如下式所示：

其中表示链接运算符，是LTSM层D的输入，r_tⁱ是LTSM层D的输出，W₄是LTSM层D的权重；是最终预测到的行人轨迹坐标，W_o，b_o分别是LTSM层D的权重和偏移量。