[发明专利]一种基于多交互时空图网络的行人轨迹预测方法和系统

说明书

本发明公开一种基于多交互时空图网络的行人轨迹预测方法和系统，属于行人轨迹预测领域。包括：提取各视频帧中各行人的多交互特征；对视频序列中的每一帧，将该帧中每个行人抽象为顶点，各行人和其他行人连接起来作为边，顶点属性为该行人多交互特征，得到多交互时空图网络；对于每个多交互时空图，获取该时空图中每个行人和其他行人的空间依赖关系，通过各行人之间空间依赖关系优化各顶点属性；将同一行人相邻时间点的顶点连接起来，获取行人时间依赖关系，进而推断未来时刻的轨迹。本发明将多交互行人特征作为顶点属性，模拟行人和环境上下文交互，从空间维度考虑了行人之间的交互，从时间维度上考虑行人本身的交互，提升复杂场景中的预测精度。

技术领域

本发明属于行人轨迹预测领域，更具体地，涉及一种基于多交互时空图网络的行人轨迹预测方法和系统。

背景技术

了解人群中的行人行为对于视觉引导应用（如自动驾驶、智能监控系统等）至关重要。对行人轨迹预测的研究最早可以追溯到Helbing和Molnar的Social Forces[1]，这个工作中提出的手工提取的特征模拟了行人之间的排斥效应和吸引效应。最近，许多研究使用深度神经网络来模拟行人之间的相互作用，常用的深度神经网络包括RNN、GAN、GNN、Attention Mechanism等。此外，一些研究认为与上下文的交互作用，在一些复杂场景的预测中起着重要的作用。行人轨迹预测的两个关键技术在于：（1）轨迹是多重交互作用的结果，应该尽可能充分地考虑各种交互因素。（2）需要对这些交互进行建模以充分利用丰富的交互信息。

论文“Spatio-temporal graph transformer networks for pedestriantrajectory prediction”中提出了一种方法，利用Transformer来预测行人轨迹。技术流程如图1所示。主要包括两个部分：时间Transformer和空间Transformer。(1)时间Transformer。时间Transformer模块的输入是行人轨迹特征的一组集合，输出是更新过后的行人轨迹特征。核心技术是利用自注意力机制计算出每个行人对应的query矩阵，key矩阵和value矩阵。然后再利用多头注意力机制，就能够计算出每个行人带有时间依赖关系的注意力权重，进而更新每个行人带有时间依赖关系的轨迹特征。(2)空间Transformer。空间Transformer模块的主要作用是提取行人之间的空间交互。该模块的关键思想就是自注意力机制可以被当作在无向图中传递的信息。因此将同一时刻同一空间内所有行人构成一张图，就可以在这张图上利用空间Transformer更新每个行人带有空间交互的轨迹特征。

但该方法仍然存在如下两个缺点：（1）只考虑了行人之间的交互关系。但是行人的轨迹不止受到其他行人的影响，还会受到环境上下文的影响。例如，行人碰到障碍物会绕开，看到汽车会避让。环境和行人的交互也深刻影响了周围行人，欠缺环境对行人的交互影响，导致在特殊复杂场景下的行人轨迹预测精度低。（2）Transformer对建模行人交互的作用研究得不够深入，尤其是模型中Transformer和图网络结合这一部分得研究还有待加强，对于行人之间的交互影响的模拟不够准确，进一步导致行人轨迹预测精度低。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于多交互时空图网络的行人轨迹预测方法和系统，其目的在于提取更符合行人行走场景的特征，提高行人轨迹预测精度，尤其是复杂室外场景。

为实现上述目的，按照本发明的第一方面，提供了一种多交互行人特征提取方法，对输入视频序列中的每一帧，进行以下操作：通过场景分割和卷积操作，提取该帧的全局上下文特征；通过网格化和位置映射，提取该帧中各行人的局部上下文特征；采用注意力机制融合全局上下文特征和各行人的局部上下文特征，得到该帧中各行人的全局-局部上下文特征；提取该帧中各行人的轨迹特征；拼接该帧中各行人的全局-局部上下文特征和轨迹特征，得到该帧中各行人的多交互特征。