[发明专利]一种分阶段目标跟踪方法、装置、终端及可读存储介质

权利要求书

1.一种分阶段目标跟踪方法，其特征在于：包括如下步骤：

步骤S1：构建一个根据目标环境自适应切换候选跟踪器的智能体，并基于训练视频训练所述智能体；

其中，训练视频中每一帧图像中标记出了跟踪目标的位置；将当前帧的图像信息以及上一帧图像中跟踪目标的位置信息作为观测数据输入所述智能体，所述智能体的输出数据为每个候选跟踪器的候选值Q，将Q值最大的候选跟踪器作为当前帧图像对应的最佳候选跟踪器；

步骤S2：在线跟踪时，实时获取观测数据，并输入训练后的智能体选择出实时的最佳候选跟踪器，并利用最佳候选跟踪器进行实时目标跟踪；

步骤S1中所述智能体的训练过程如下：

首先，获取训练视频中的标记了跟踪目标位置的图像，再依次按照下述方法处理每一帧图像得到每一帧图像对应的奖励；

其中，将当前帧图像的观测数据输入所述智能体确定当前帧图像对应的最佳候选跟踪器，并分别执行最佳候选跟踪器和其他候选跟踪器得到当前帧图像的跟踪结果，再将各个跟踪结果与对应当前帧图像中跟踪目标的实际位置进行比较得到定位差异，并基于定位差异得到当前帧图像对应的奖励；

然后，进行智能体网络参数的更新，其中，调整过程的参考参数至少包含奖励；

接着，基于调整后的智能体再次处理下一视频；

循环上述过程，直至智能体训练完成；

所述智能体网络参数的更新过程为基于深度强化学习方法进行网络参数优化调整，其中，至少将每一帧图像的观测数据、决策、奖励作为每一帧图像的经验数据，参数的更新过程如下：

随机抽取K1个连续时刻图像的经验数据，并将K1个连续时刻观测数据分别输入智能体得到最佳候选跟踪器的候选值Q；

然后，利用K1个连续时刻中K2个连续时刻的数据计算出K2个连续时刻中每一帧图像对应的训练误差，训练误差的计算公式如下：

L＝(y_i-Q(o,a|θ))²

式中，L表示当前帧图像对应的训练误差，y_i为书写定义，r表示当前帧图像对应的奖励，γ表示折算因子，o表示当前帧图像的观测数据，a表示当前帧图像对应的最佳候选跟踪器，Q(o,a|θ)表示当前帧图像的最佳候选跟踪器对应的候选值Q，θ表示智能体网络中需要更新的参数，o′表示下一帧图像的观测数据，a′下一帧图像对应的最佳候选跟踪器，表示在目标网络中下一帧图像的最佳候选跟踪器对应的候选值所述目标网络与智能体的架构相同，参数更新时间不同，θ^-表示目标网络中延迟更新的参数；

基于训练误差采用梯度下降法对智能体的参数进行调整更新。

2.根据权利要求1所述的方法，其特征在于：每一帧图像对应的奖励按照如下公式确定：

式中，r_t表示第t帧图像对应的奖励，IoU表示重叠度，b_t和表示第t帧图像对应的决策a_t＝i所对应跟踪最佳候选跟踪器的跟踪结果，i表示n个候选跟踪器中第i个跟踪器，g_t表示第t帧图像中跟踪目标的实际位置，τ为设定的补偿值，表示在当前第t帧图像中其他候选跟踪器的最终结果，重叠度的计算如下：

IoU(u,v)＝u∩v/u∪v

式中，u,v均为自定义的参数，用于表示重叠度的计算过程。

3.根据权利要求1所述的方法，其特征在于：所述智能体的网格架构包括：输入层、与输入层连接的卷积层、与卷积层连接的全连接层、与全连接层连接的长短时记忆网络、输出层。

4.根据权利要求3所述的方法，其特征在于：所述全连接层拼接用于稳定跟踪的若干个历史决策，所述历史决策为当前帧图像的前若干帧图像对应的决策，所述决策表示选择的最佳候选跟踪器。