[发明专利]一种多模态行人轨迹预测方法、系统、设备及介质

权利要求书

1.一种多模态行人轨迹预测方法，其特征在于，包括以下步骤：

获取待预测的观测行人轨迹；

基于获取的所述观测行人轨迹，利用预先训练好的多模态行人轨迹预测模型进行未来轨迹预测，获得多模态行人轨迹预测结果；

其中，所述多模态行人轨迹预测模型包括：

特征提取模块，所述特征提取模块包括观测特征编码器、中间意图特征编码和目标意图特征编码；其中，所述观测特征编码器用于输入观测行人轨迹并进行特征提取，输出观测行人轨迹特征；所述中间意图特征编码用于输入中间意图并进行特征提取，输出中间意图特征编码；所述目标意图特征编码用于输入目标意图并进行特征提取，输出目标意图特征编码；

多意图记忆模块，所述多意图记忆模块预先存储有观测行人轨迹特征样本以及与其一一对应的目标意图特征和中间意图特征；其中，所述多意图记忆模块用于输入观测行人轨迹特征，基于相似性匹配获得与输入的观测行人轨迹特征相匹配的观测行人轨迹特征样本，以及与观测行人轨迹特征样本相对应的目标意图特征样本和中间意图特征样本；

意图细化模块，用于输入观测行人轨迹特征、与观测行人轨迹特征相匹配的观测行人轨迹特征样本、以及与观测行人轨迹特征样本相对应的目标意图特征样本和中间意图特征样本并进行偏差调整，获得意图细化后的特征；

解码器，用于输入所述意图细化后的特征并进行解码处理，输出多模态行人轨迹预测结果。

2.根据权利要求1所述的一种多模态行人轨迹预测方法，其特征在于，所述多意图记忆模块包括四个存储空间，分别为观测行人轨迹特征样本存储空间M_p、中间意图特征样本存储空间M_i、目标意图特征样本存储空间M_g和使用率存储空间A；其中，M_p、M_i、M_g和A之间是一一对应关系，已知其中某一存储空间中的任意一条信息，能够找到已知信息在其他存储空间中对应的存储信息；

根据观测行人轨迹特征F_p、中间意图特征F_i、目标意图特征F_g是否已经存在于存储空间中，分为两种存储方式；其中，

如果以上三种特征已经存在于存储空间中，则只更新M_p和A，表达式为，

A[k]←0；k为存储空间中任意存储信息对应的索引；

如果以上三种特征没有存在于存储空间中，更新所有存储空间，表达式为，

是存储空间A中所有存储信息中最大值的索引。

3.根据权利要求1所述的一种多模态行人轨迹预测方法，其特征在于，所述多意图记忆模块中，基于相似性匹配获得与输入的观测行人轨迹特征相匹配的观测行人轨迹特征样本的过程中，采用余弦相似度匹配，然后选取前预设个数的信息。

4.根据权利要求1所述的一种多模态行人轨迹预测方法，其特征在于，所述意图细化模块中，进行偏差调整的步骤包括：

将与观测行人轨迹特征样本相对应的目标意图特征样本和中间意图特征样本连接并进行高维度特征提取，获取第一高维特征；获取观测行人轨迹特征与观测行人轨迹特征样本的偏差并进行高维度特征提取，获取第二高维特征；

将所述第一高维特征和所述第二高维特征连接并进行聚类处理，获得聚类处理后的特征；将所述聚类处理后的特征与所述观测行人轨迹特征连接，获得意图细化后的特征。

5.根据权利要求4所述的一种多模态行人轨迹预测方法，其特征在于，所述意图细化模块中，获取观测行人轨迹特征与观测行人轨迹特征样本的偏差的步骤包括：

采用MLP网络计算观测轨迹特征F_p与匹配的观测行人轨迹特征样本M_p[k]的偏差F_v，表达式为，

式中，是MLP网络，θ_V是网络的可学习参数；

基于偏差生成最终意图F_r，表达式为，

式中，是线性神经网络，θ_V是网络的可学习参数，是特征连接操作。