[发明专利]一种基于层次化决策网络的鲁棒目标跟踪方法及系统

权利要求书

1.一种基于层次化决策网络的鲁棒目标跟踪方法，其特征在于：包括以下步骤：

步骤一、将目标跟踪问题建模为强化学习中的马尔科夫决策过程，并定义由状态S、动作A、奖励函数R和状态转移函数f构成的四元组；

步骤二、对公共视频数据集GOT-10K的测试集进行预处理，选择N帧作为片段，根据标签裁剪、放缩图片，构造若干个训练图像对；

步骤三、采用PyTorch深度学习框架搭建层次化决策网络模型，由通用的孪生特征提取网络、嵌入融合模块、策略网络和演员-评论家网络组成；

所述步骤三中基于层次化决策网络框架由策略网络、演员网络、评论家网络和一个共享的通用孪生特征提取网络组成，具体的建模步骤如下：

第一步，搭建ResNet-18特征提取网络，使用ImageNet预训练的网络参数初始化ResNet-18；并使用全连接层将ResNet-18网络提取的深层特征进行线性化，得到512维的特征向量；然后通过特征级联操作和一个全连接层对两个分支的线性化特征向量进行嵌入融合，获得相邻帧目标的运动信息；

第二步，构建演员-评论家网络，由两层512个神经元的全连接层、带有512个神经元的单层长短时记忆模块LSTM构成；演员网络的输出是4维的向量，即表示连续动作空间；评论家网络的输出是1维的向量，表示当前状态的预测值；

第三步，构建策略网络，策略网络包括两层带有512个神经元和ReLU激活函数构成的全连接层以及输出层；其中输出层是4维的向量，代表预定义的离散动作空间{搜索，停止，更新，重启}；

步骤四、使用A3C和PG强化学习算法分别对演员-评论家网络和策略网络进行端到端的离线训练，并采用Adam优化器来优化模型参数；

步骤四中通过深度强化学习算法对网络模型进行离线训练，具体包括：

使用A3C强化学习算法来训练演员-评论家网络，利用M个并行且独立的智能体与环境交互；并根据收集的训练样本对异步地更新网络参数，共同对策略函数π(a|s)和值函数V^π(s)进行建模；并充分利用优势状态动作值函数A(s，a)，每个动作的重要性度量表示为：

A(s，a)＝Q^π(a|s)-V^π(s)；

根据A3C算法，演员网络和评论家网络的代价函数分别表示为：

策略网络优化的离散动作空间，采用Policy Gradient算法优化关于未来奖励期望J的策略网络，J被公式化为：

J_π(θ^p)＝E(R_1：∞；π(p|s；θ^p))

具体地，给定N条交互轨迹τ，通过最小化策略梯度的损失函数L_P来以端到端的方式训练策略网络：

因此，通过随机策略梯度或值函数回归方式来更新网络的参数：

步骤五、保存训练收敛的模型，并在若干个跟踪数据集上评估层次化决策网络模型在线跟踪的性能指标。