[发明专利]一种跨模态行人轨迹生成式预测框架、方法和装置

权利要求书

1.一种跨模态行人轨迹生成式预测框架，包括：多模态数据时域特征提取模块、基于跨模态Transformer的特征编码模块、条件变分自动编码模块和轨迹预测模块，其特征在于，所述多模态数据时域特征提取模块对多模态数据提取时域特征，直接传递给基于跨模态Transformer的特征编码模块；所述基于跨模态Transformer的特征编码模块，输入为多模态的时域特征，输出为跨模态的注意力特征，分别传递给条件变分自动编码模块和轨迹预测模块；所述条件变分自动编码模块，输入为跨模态的注意力特征，输出为隐变量，直接传递给轨迹预测模块；所述轨迹预测模块，输入为跨模态的注意力特征和隐变量，输出为预测的轨迹。

2.如权利要求1所述的一种跨模态行人轨迹生成式预测框架，其特征在于，所述多模态数据包括行人轨迹信息、自车即搭载摄像头的车辆的运动信息和行人姿态信息；

所述行人轨迹信息的训练数据定义为观测阶段数据和目标阶段数据，其中，观测阶段的时间长度为，目标阶段的时间长度为，目标阶段对应了需要被预测的轨迹的时间阶段，为时刻行人轨迹即二维包围盒的向量表示；

所述自车的运动信息的训练数据定义为观测阶段数据和目标阶段数据，其中，为时刻自车运动信息的向量表示；

所述行人姿态信息的训练数据定义为观测阶段数据和目标阶段数据，其中，，是一个的热图，代表该行人在时刻的第个姿态关节点。

3.如权利要求1所述的一种跨模态行人轨迹生成式预测框架，其特征在于，所述多模态数据时域特征提取模块在观测阶段和目标阶段，针对行人轨迹和自车运动信息，采用多层感知器与一维卷积层的组合进行特征提取；针对行人姿态信息即姿态热图，采用卷积LSTM与二维卷积网络的组合来进行特征提取。

4.如权利要求3所述的一种跨模态行人轨迹生成式预测框架，其特征在于，所述基于跨模态Transformer的特征编码模块具体执行以下步骤：

步骤一：分别为阶段下的行人轨迹信息、自车运动信息和行人姿态信息的时域特征添加位置编码，获得、和；将添加了位置编码的时域特征组织成4个特征对、、和，将这4个特征对分别输入到公认的跨模态Transformer中，分别输出4对跨模态特征和权重矩阵的组合、、、；

步骤二：将所述4对跨模态特征和权重矩阵分配到2个不同的分支中，其中、分配到分支1中，、分配到分支2中；对分支1，使用一个多模态注意力模块，计算跨模态配置下的跨模态特征的权重和跨模态配置下的跨模态特征的权重：

同理，对分支2，使用相同的多模态注意力模块，计算跨模态配置下的跨模态特征的权重和跨模态配置下的跨模态特征的权重：

；

步骤三：使用步骤二得到的跨模态特征的权重，分别融合分支1和分支2中的跨模态特征，即：

；

步骤四：将步骤三中的输出结果和拼接起来，获得，并在时域这个维度上对做最大池化操作，获得阶段的最终特征；观测阶段的最终特征为，目标阶段的最终特征为。

5.如权利要求4所述的一种跨模态行人轨迹生成式预测框架，其特征在于，所述条件变分自动编码器包含两个网络：网络1和网络2，两个网络均为多层感知器；网络1仅接收，将其映射到一组向量集合，用于构造一个概率分布；网络2同时接收和，并将其映射到另一组向量集合，用于构造一个和概率分布相同类型的概率分布；计算概率分布和概率分布之间的KL散度，以此来同时优化网络1和网络2；采样隐变量：训练时在中采样隐变量，应用训练好的模型推理时在中采样隐变量。

6.如权利要求5所述的一种跨模态行人轨迹生成式预测框架，其特征在于，所述轨迹预测模块，将和隐变量进行向量拼接，并输入到一个多层感知器中，输出n个控制向量；观测阶段的最后一个时刻的轨迹作为控制向量；每个控制向量均表示为一个二维包围盒；用这n+1个控制向量来做n阶样条曲线的插值，插值出一条轨迹：

其中，由所选择的样条曲线决定，代表了控制向量对应的权重系数，代表预测轨迹的所有时刻，且需要归一化到之间，作为阶数需要小于预测轨迹的时刻数。