[发明专利]一种基于语义信息和场景信息的多目标跟踪方法

权利要求书

1.一种基于语义信息和场景信息的多目标跟踪方法，其特征在于，包括如下步骤：

(1)分别预测场景中各个跟踪目标在当前帧中的位置，利用已训练好的检测模型对所预测的位置进行修正并获得其语义得分；

(2)将修正后的位置作为目标框，获得目标框与对应跟踪目标的历史轨迹之间的相似度，并融合所述语义得分和所述相似度，从而得到目标框的跟踪得分；

(3)根据目标框的跟踪得分更新场景网格的场景模型，根据所述场景模型计算目标框的场景置信度，并根据所述场景置信度更新目标框的跟踪得分；

(4)利用所述检测模型获得当前帧的检测结果，将目标框与所述检测结果进行匹配，并根据匹配结果和目标框的跟踪得分确定跟踪目标的状态或生成新目标，从而得到当前帧的跟踪结果；

其中，所述检测模型是以VGG16的前12层为基础网络的Faster-RCNN，所述检测模型用于检测图像中的各个目标并得到每个检测位置的语义得分；所述语义得分用于表示对应位置处的目标为跟踪目标的可能性，所述历史轨迹为跟踪目标在起始帧至上一帧中的位置序列，所述场景网格为由场景图像预先划分所得的网格，所述场景模型用于计算目标框的场景置信度，所述场景置信度用于表示跟踪目标出现在场景网格中的可能性；

所述步骤(3)中，根据目标框的跟踪得分更新场景网格的场景模型，包括：

对于任意一个场景网格G，获得当前帧中属于所述场景网格G的目标框总数n以及起始帧至上一帧中属于所述场景网格G的目标框总数N；

根据所述目标框总数n和所述目标框总数N更新目标框高度的均值μ为：

根据所述目标框总数n和目标框高度分别更新辅助变量α和β为：

根据所述辅助变量α和β更新目标框高度的方差σ为：

其中，属于所述场景网格G的目标框的底部中心位于所述场景网格G且跟踪得分大于预设的第一阈值，μ'、α'和β'分别表示所述均值μ、所述辅助变量α和所述辅助变量β更新前的取值，h_i表示当前帧中属于所述场景网格G的第i个目标框的高度。

2.如权利要求1所述的基于语义信息和场景信息的多目标跟踪方法，其特征在于，所述步骤(1)包括：

若当前帧的上一帧为视频序列中的第一帧，则以第一帧的检测结果所确定的位置为中心确定矩形搜索区域；否则，以上一帧的跟踪结果所确定的位置为中心确定矩形搜索区域；

利用基于HOG特征和颜色直方图特征的相关滤波算法，根据所确定的矩形搜索区域预测场景中各个跟踪目标在当前帧中的位置；

利用所述检测模型的stage2结构对所预测的位置进行边框回归操作，从而对所预测的位置进行修正并获得其语义得分。

3.如权利要求1或2所述的基于语义信息和场景信息的多目标跟踪方法，其特征在于，所述步骤(2)包括：

对于任意一个目标框B，提取其表观特征向量x^t，并获得对应的跟踪目标T在第a帧至第t-1帧的轨迹的表观特征向量x^a:t-1；

计算所述表观特征向量x^t和所述表观特征向量x^a:t-1之间的余弦相似度P^match，并由此计算所述目标框B的跟踪得分为：S^t＝P^rec*P^match；

更新所述跟踪目标T在第a帧至第t帧的轨迹的表观特征向量为：x^a:t＝(1-ω)x^a:t-1+ωx^t；

其中，a为起始帧编号，t为当前帧编号，P^rec为所述目标框B的语义得分，ω为加权系数。

4.如权利要求3所述的基于语义信息和场景信息的多目标跟踪方法，其特征在于，所述步骤(2)还包括：根据所述跟踪得分S^t调整所述加权系数ω的取值，所采用的公式为：

其中，S^a:t-1为所述跟踪目标T在第a帧至第t-1帧的跟踪得分的算术平均值。