[发明专利]一种基于深度学习的行人运动轨迹预测方法及装置

权利要求书

1.一种基于深度学习的行人运动轨迹预测方法，其特征在于，包括：

获取视频数据，其中，所述视频数据包括已知帧，所述已知帧包括：时间t以及时间t之前的帧；

光流预测网络根据相邻的两个已知帧预测已知帧之间的光流信息；

合成预测网络根据所述已知帧和所述已知帧之间的光流信息，预测未知帧的光流信息，得到t+1帧；

所述合成预测网络根据所述t+1帧预测目标行人在t+1帧中的位置；

其中，所述光流预测网络采用FlowNet2预测网络预测已知帧之间的光流信息；

所述光流预测网络采用FlowNet2预测网络预测已知帧之间的光流信息包括：

获取两个相邻的已知帧，得到两个相邻的已知帧的特征图；

通过比较融合后再不断经过卷积操作以及下采样操作学习相邻帧之间潜在的对应关系；

通过上采样恢复两个相邻的已知帧的特征图信息；

输出两个相邻的已知帧之间的光流信息；

述合成预测网络根据所述已知帧和所述已知帧之间的光流信息，预测未知帧的光流信息，得到t+1帧包括：

将所述已知帧和所述已知帧之间的光流信息下采样四次，得到大小分别为原图的1/2，1/4，1/8，1/16，通道数分别为64，128，256，512，1024的特征图；

结合浅层特征和深层特征信息，采样四次，恢复所述特征图的细节信息；

使用线性差值重建未知帧的光流信息，得到所述t+1帧。

2.根据权利要求1所述的方法，其特征在于，所述合成预测网络包括多个具有残差连接的子模块，每个所述子模块包括3x3的卷积、BN层和ReLU激活层。

3.根据权利要求1所述的方法，其特征在于，还包括：通过合成相似性损失函数的后向传播优化所述合成预测网络。

4.根据权利要求1所述的方法，其特征在于，所述合成预测网络根据所述t+1帧预测目标行人在t+1帧中的位置包括：

将大小分别为原图的1/2，1/4，1/8，1/16，通道数分别为64，128，256，512，1024的特征图经过一个平均池化层得到1x1x1024的特征层；

经过三个输出维度分别为256、32、4的全卷积层，得到目标行人在t+1帧中的位置。

5.根据权利要求4所述的方法，其特征在于，还包括：通过位置回归损失函数的反向传播不断优化所述合成预测网络。

6.一种基于深度学习的行人运动轨迹预测装置，其特征在于，包括：

获取模块，用于获取视频数据，其中，所述视频数据包括已知帧，所述已知帧包括：时间t以及时间t之前的帧；

光流预测网络，用于根据相邻的两个已知帧预测已知帧之间的光流信息；

合成预测网络，用于根据所述已知帧和所述已知帧之间的光流信息，预测未知帧的光流信息，得到t+1帧；根据所述t+1帧预测目标行人在t+1帧中的位置；

其中，所述光流预测网络采用FlowNet2预测网络预测已知帧之间的光流信息；

所述光流预测网络通过如下方式采用FlowNet2预测网络预测已知帧之间的光流信息：

所述光流预测网络，具体用于获取两个相邻的已知帧，得到两个相邻的已知帧的特征图；通过比较融合后再不断经过卷积操作以及下采样操作学习相邻帧之间潜在的对应关系；通过上采样恢复两个相邻的已知帧的特征图信息；输出两个相邻的已知帧之间的光流信息；

所述合成预测网络通过如下方式根据所述已知帧和所述已知帧之间的光流信息，预测未知帧的光流信息，得到t+1帧：

所述合成预测网络，具体用于将所述已知帧和所述已知帧之间的光流信息下采样四次，得到大小分别为原图的1/2，1/4，1/8，1/16，通道数分别为64，128，256，512，1024的特征图；结合浅层特征和深层特征信息，采样四次，恢复所述特征图的细节信息；使用线性差值重建未知帧的光流信息，得到所述t+1帧。

7.根据权利要求 6所述的装置，其特征在于，所述合成预测网络包括多个具有残差连接的子模块，每个所述子模块包括3x3的卷积、BN层和ReLU激活层。