[发明专利]一种基于深度学习的行人运动轨迹预测方法及装置

说明书

本发明提供了一种基于深度学习的行人运动轨迹预测方法及装置，其中方法包括：获取视频数据，其中，视频数据包括已知帧，已知帧包括：时间t以及时间t之前的帧；光流预测网络根据相邻的两个已知帧预测已知帧之间的光流信息；合成预测网络根据已知帧和已知帧之间的光流信息，预测未知帧的光流信息，得到t+1帧；合成预测网络根据t+1帧预测目标行人在t+1帧中的位置。

技术领域

本发明涉及计算机领域，尤其涉及一种基于深度学习的行人运动轨迹预测方法及装置。

背景技术

随着深度学习的发展，基于神经网络的行人轨迹预测成为重要课题。通过观察视频特定帧中的行人并预测他们随后的移动方向，能够引导视力障碍者避免碰撞，此方向的深入研究将为视力障碍者出行带来极大便利。

现有的算法大多直接使用已知帧中目标行人上坐标作为神经网络的输入，使用循环卷积神经网络或者其他方法直接回归未知帧中目标行人的位置，从而得到目标行人的运动轨迹，此方法存在以下缺点：

1)直接使用目标的坐标作为网络的输入，没有考虑视频的内容，没有结合实际的场景信息对目标进行轨迹预测。

2)除了已知帧中目标的位置信息之外，需要其他额外信息(例如行人姿势、行人大小比例的变化等)作为网络的输入，辅助网络学习行人的目标位置。而一般来说，这些辅助信息难以获取，难以标注，给网络的训练增加了困难。

发明内容

本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的基于深度学习的行人运动轨迹预测方法及装置。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种基于深度学习的行人运动轨迹预测方法，包括：获取视频数据，其中，视频数据包括已知帧，已知帧包括：时间t以及时间t之前的帧；光流预测网络根据相邻的两个已知帧预测已知帧之间的光流信息；合成预测网络根据已知帧和已知帧之间的光流信息，预测未知帧的光流信息，得到t+1帧；合成预测网络根据t+1帧预测目标行人在t+1帧中的位置。

其中，光流预测网络采用FlowNet2预测网络预测已知帧之间的光流信息。

其中，光流预测网络采用FlowNet2预测网络预测已知帧之间的光流信息包括：获取两个相邻的已知帧，得到两个相邻的已知帧的特征图；通过比较融合后再不断经过卷积操作以及下采样操作学习相邻帧之间潜在的对应关系；通过上采样恢复两个相邻的已知帧的特征图信息；输出两个相邻的已知帧之间的光流信息。

其中，合成预测网络包括多个具有残差连接的子模块，每个子模块包括3x3的卷积、BN层和ReLU激活层。

其中，合成预测网络根据已知帧和已知帧之间的光流信息，预测未知帧的光流信息，得到t+1帧包括：将已知帧和已知帧之间的光流信息下采样四次，得到大小分别为原图的1/2，1/4，1/8，1/16，通道数分别为64，128，256，512，1024的特征图；结合浅层特征和深层特征信息，采样四次，恢复特征图的细节信息；使用线性差值重建未知帧的光流信息，得到t+1帧。

其中，方法还包括：通过合成相似性损失函数的后向传播优化合成预测网络。

其中，合成预测网络根据t+1帧预测目标行人在t+1帧中的位置包括：将大小分别为原图的1/2，1/4，1/8，1/16，通道数分别为64，128，256，512，1024的特征图经过一个平均池化层得到1x1x1024的特征层；经过三个输出维度分别为256、32、4的全卷积层，得到目标行人在t+1帧中的位置。

其中，方法还包括：通过位置回归损失函数的反向传播不断优化合成预测网络。