[发明专利]结合场景上下文和行人社会关系的行人轨迹预测方法、系统及存储介质

说明书

本发明涉及行人轨迹预测技术，具体为结合场景上下文和行人社会关系的行人轨迹预测方法、系统及存储介质，其方法包括：获取行人轨迹预测的公开数据集，划分训练集和测试集；对视频数据和行人轨迹数据进行预处理，获得静态场景图像；对静态场景图像语义分割得到语义分割图像；构建行人轨迹时空图，构建每一帧的空间图，将所有时间序列的空间图组成时空图；对静态场景图像和时空图使用不同卷积网络进行特征提取，得到场景特征张量和行人特征张量，融合得到组合特征张量后输入行人轨迹预测模型，预测行人未来的轨迹。本发明能够把场景上下文中包含的语义信息、行人间关系共同建模，并保留行人与场景之间的空间关系，提高了行人轨迹预测精度。

技术领域

本发明涉及行人轨迹预测技术，特别涉及结合场景上下文和行人社会关系的行人轨迹预测方法、系统及存储介质。

背景技术

为了更好地利用智能科技改变人们的生活，依托于人工智能技术发展起来的智能交通、自动驾驶和智能机器人技术成为了时下的重要攻克点。在这些应用领域中，都需要能够准确地判断现实情形下各种运动物体的运动状态，并能预测出运动物体未来可能的情形，以便更好的选择更加有利的行动。行人轨迹预测是对现实场景进行预测的一个典型问题，它的解决方案能够在稍作调整后应用到如车辆等其他物体的轨迹预测中。

现有的行人轨迹预测方法主要分为基于手工建模的传统方法和基于数据驱动的机器学习方法。

手工方法通过抽象出对行人轨迹影响较大的几种因素，并通过建模来模拟它们对行人行走轨迹的作用，通过对目标行人各指标进行计算得到未来目标行人轨迹的预测结果。其中最经典的传统方法是Helbing提出的社会力模型，他将行人运动的驱使因素分为表示行人自身意愿的“自驱力”和代表自身与外界交互的“社会力”。通过牛顿第二定律和对行人自驱力、行人与行人之间的排斥力、行人与障碍物之间的排斥力的计算，更新行人的速度和坐标以估测行人运动轨迹。

和传统方法相比，基于数据驱动的行人轨迹预测方法具有更强的鲁棒性和泛化能力，通过各式神经网络学习数据中已知的行人运动轨迹来预测未来的行人轨迹坐标。其中的经典方法有Social-LSTM、STGCNN等。数据驱动方法大都关注于如何建模场景上下文约束对行人运动的影响或多个行人之间的社会互动的影响，但是同时考虑建模场景约束和社会关系约束的方法并不多。现有的一些结合方法中也仅仅采用一些如SR或者在网络最后一层进行简单连接的方式，不能在建模行人社会关系的同时保持场景与行人之间的空间关系。

同时，广泛应用的使用LSTM网络进行行人轨迹预测方法是通过上一时间的行人坐标作为输入的一部分，逐步预测下一时间的行人坐标，这会造成位移偏差的积累而降低准确度。大部分建模行人社会关系的网络也仅仅能建模目标行人与周围行人之间的关系，而忽略了远处行人的影响，并不能较好的建模全局上的行人社会关系。

总的来说，现有技术中关于行人轨迹预测的方法多专注于建模行人与行人之间的社会关系，一些考虑静态场景对行人轨迹影响的研究仅仅是使用简单的卷积-池化操作直接提取视频中某帧图片的特征向量，再和学习到的行人特征向量做简单的连接用以后续的预测网络。这些方法不能够保留行人当前位置和静态场景之间的空间对应关系，也不能完全把场景与行人位置关系和行人与行人之间社会关系共同提取并适配于后续的预测工作。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供能够同时考虑到静态场景信息和行人之间社会关系，并且结合了时序网络和图卷积网络的行人轨迹预测方法、系统及存储介质，适用于复杂场景下行人未来轨迹的预测。

本发明的轨迹预测方法通过下述技术方案实现：结合场景上下文和行人社会关系的行人轨迹预测方法，包括以下步骤：

S1、获取关于行人轨迹预测的公开数据集，其中包括在不同场景下长度不等的视频数据和视频中对应的行人坐标轨迹数据表；

S2、划分训练集和测试集；