[发明专利]一种基于深度轨迹预测的多目标跟踪方法及系统

说明书

本发明公开了一种基于深度轨迹预测的多目标跟踪方法及系统，包括：读取监控视频中的图像信息；对图像信息进行目标识别，获取球体的运动规律及球体颜色空间分布；结合预先构建的球体之间刚体碰撞的物理模型，生成球体的轨迹信息；根据轨迹信息构建第一RNN模型并进行训练；融合碰撞能量衰减的贪婪多目标关联进行模型优化处理，得到第二RNN模型；提取目标视频中的目标球体的轨迹信息；将目标球体的轨迹信息输入第二RNN模型中，输出预测轨迹信息。通过分层的处理策略有效降低运算开销，达到了高帧率实时处理的目的；同时通过深度学习轨迹建模，可以有效预测和拟合运动球体的行进路线，提高对多目标轨迹跟踪的准确性。

技术领域

本发明涉及视频目标跟踪技术领域，特别涉及一种基于深度轨迹预测的多目标跟踪方法及系统。

背景技术

目前，多目标球体在区域内运动时，存在碰撞，跳跃和短时遮挡等复杂情形，这给高速运动的多目标轨迹跟踪带来挑战，不能实现对多目标轨迹进行准确跟踪，同时也无法准确预测多目标轨迹。

发明内容

本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的第一个目的在于提出一种基于深度轨迹预测的多目标跟踪方法，提出了分层的多信息融合算法，充分利用刚性球体的运动规律，刚体碰撞的物理模型以及球体颜色空间分布等信息实现多球体的轨迹跟踪，进行RNN轨迹建模及融合，同时通过分层的处理策略有效降低运算开销，达到了高帧率实时处理的目的；同时通过深度学习轨迹建模，可以有效预测和拟合运动球体的行进路线，提高对多目标轨迹跟踪的准确性。

本发明的第二个目的在于提出一种基于深度轨迹预测的多目标跟踪系统。

为达到上述目的，本发明第一方面实施例提出了一种基于深度轨迹预测的多目标跟踪方法，包括：

S1、在预设监控区域内拍摄球体的监控视频，基于所述监控视频进行分帧处理，读取监控视频中的图像信息；

S2、对所述图像信息进行目标识别，获取球体的运动规律及球体颜色空间分布；根据球体的运动规律、球体颜色空间分布及预先构建的球体之间刚体碰撞的物理模型，生成球体的轨迹信息；

S3、根据所述轨迹信息构建基于深度学习的第一RNN模型，并对所述第一RNN模型进行训练；

S4、对训练好的第一RNN模型，融合碰撞能量衰减的贪婪多目标关联进行模型优化处理，得到第二RNN模型；

S5、获取目标视频，对所述目标视频进行解析，提取目标视频中的目标球体的轨迹信息；将目标球体的轨迹信息输入所述第二RNN模型中，输出预测轨迹信息，得到对目标球体的跟踪结果。

根据本发明的一些实施例，所述输出预测轨迹信息后，还包括：

计算预测轨迹信息的置信度，在确定所述置信度小于预设置信度时，检测输入所述第二RNN模型的目标球体的轨迹信息是否完整；

在确定所述目标球体的轨迹信息完整时，对目标视频中的目标图像信息进行读取，提取目标球体在各个时刻的特征参数，进而获取目标球体在各个时刻的场景信息及位置信息；

根据目标球体在各个时刻的场景信息及位置信息，生成对目标球体的轨迹信息的评估体系；

根据所述评估体系更新所述第二RNN模型中的预测轨迹函数。

根据本发明的一些实施例，在确定所述目标球体的轨迹信息不完整时，对目标视频进行重新解析，判断是否增加新的轨迹片段；

在确定增加新的轨迹片段时，将新的轨迹片段分别与之前提取的多个轨迹信息进行匹配，并计算匹配度，基于单个新的轨迹片段，获取最高匹配度对应的轨迹信息及所述轨迹信息对应的目标球体，将所述目标球体的轨迹信息与新的轨迹片段进行信息融合处理，生成新的轨迹信息。