[发明专利]行人视觉跟踪方法、模型训练方法、装置、设备及存储介质

权利要求书

1.一种行人视觉跟踪方法，其特征在于，包括：

获取当前帧的行人边界框和若干历史帧各自的边界框动作向量，所述历史帧为所述当前帧之前的帧；

基于行人跟踪模型的特征提取子网络，对所述行人边界框内的目标行人图像进行特征提取以获取所述目标行人图像的隐特征向量；

基于所述行人跟踪模型的预测子网络，根据所述隐特征向量和所述若干历史帧各自的边界框动作向量预测所述当前帧的边界框动作向量；

根据所述当前帧的行人边界框和所述当前帧的边界框动作向量预测所述当前帧之后一帧的行人边界框；

若所述当前帧之后的一帧对应于一行人标记框，计算所述当前帧之后一帧的行人边界框与所述行人标记框的重叠率；

若所述重叠率小于预设的重叠阈值，存储所述行人标记框为所述当前帧之后一帧的行人边界框；

所述基于所述行人跟踪模型的预测子网络，根据所述隐特征向量和所述若干历史帧各自的边界框动作向量预测所述当前帧的边界框动作向量，包括：

将所述隐特征向量和所述若干历史帧各自的边界框动作向量处理为输入向量；

所述行人跟踪模型的预测子网络对所述输入向量进行全连接处理和归一化处理以得到与若干动作分量一一对应的若干动作概率；

所述行人跟踪模型的预测子网络对所述若干动作概率进行全连接处理以得到所述若干动作分量各自对应行人边界框的目标概率；

根据大于预设目标阈值的目标概率生成所述当前帧的边界框动作向量，所述边界框动作向量包括所述目标概率对应动作分量的信息。

2.如权利要求1所述的行人视觉跟踪方法，其特征在于，所述基于行人跟踪模型的特征提取子网络，对所述行人边界框内的目标行人图像进行特征提取以获取所述目标行人图像的隐特征向量之前，还包括：

将所述行人边界框内的目标行人图像处理为预设长、宽的目标行人图像。

3.如权利要求1所述的行人视觉跟踪方法，其特征在于，所述基于所述行人跟踪模型的预测子网络，根据所述隐特征向量和所述若干历史帧各自的边界框动作向量预测所述当前帧的边界框动作向量之后，还包括：

若所述当前帧的边界框动作向量包括用于表示动作终止的动作信息，根据所述若干历史帧各自的边界框动作向量生成对应的摄像头控制指令；

输出所述摄像头控制指令以控制摄像头沿所述若干历史帧中行人边界框的移动方向运动。

4.一种行人跟踪模型训练方法，其特征在于，包括：

初始化行人跟踪模型，所述行人跟踪模型包括特征提取子网络和预测子网络；

获取第一训练视频，所述第一训练视频包括若干标注有行人边界框和边界框动作向量的图像帧；

将当前图像帧行人边界框内的目标行人图像输入所述特征提取子网络，以获取所述目标行人图像的隐特征向量；

将所述当前图像帧对应的隐特征向量和若干历史帧各自标注的边界框动作向量输入所述预测子网络，以预测所述当前图像帧的边界框动作向量，所述历史帧为所述当前图像帧之前的图像帧；

根据所述当前图像帧标注的行人边界框和所述当前图像帧预测的边界框动作向量预测所述当前图像帧之后一图像帧的行人边界框；

计算所述当前图像帧之后一图像帧预测的行人边界框和标注的行人边界框的重叠率；

获取第二训练视频，所述第二训练视频中包括未标注行人边界框的图像帧以及相间隔的若干标注有行人边界框的图像帧；

根据如权利要求1-3中任一项所述的行人视觉跟踪方法预测所述第二训练视频中各图像帧的行人边界框；

根据标注有行人边界框的图像帧标注的行人边界框和标注有行人边界框的图像帧预测的行人边界框计算重叠率；

根据所述重叠率和预设的损失函数计算损失值，并根据所述损失值调整所述行人跟踪模型中的参数。