[发明专利]一种基于多模态单流记忆网络的单目标跟踪方法

权利要求书

1.一种基于多模态单流记忆网络的单目标跟踪方法，其特征在于，其步骤如下：

步骤一：使用矩形框从需要跟踪的视频的第一帧图片中选取需要跟踪的目标，然后根据矩形框裁剪出目标区域作为目标样本存入记忆器中；

步骤二：获取描述目标的文本，将文本输入语言模型获得语言特征T_L；

步骤三：根据上一帧中目标的位置信息截取当前帧中的搜索区域图像，对搜索区域图像进行特征提取得到搜索区域特征T_S；

步骤四：在记忆器中使用均匀采样选择至少2个目标样本，对目标样本进行特征提取得到记忆特征T_M；

步骤五：将记忆特征T_M、搜索区域特征T_S和语言特征T_L在第一个维度上进行串联得到特征序列T_SLM，将特征序列输入多模态单流注意力网络进行特征提取，获得多模态综合特征；

步骤六：将多模态综合特征中搜索区域特征拆分出来输入预测头，获得目标包围框；

步骤七：将多模态综合特征中拆分出处理后的搜索区域特征和语言特征输入基于语言的评估模块对当前搜索区域中目标的状态进行预测，如果预测得分高于预设阈值，则得到的目标包围框从当前搜索区域图片中裁剪出目标区域作为目标样本存入记忆器；

步骤八：获取下一帧视频并返回步骤三，直至整个跟踪任务结束。

2.根据权利要求1所述的基于多模态记忆网络的单目标跟踪方法，其特征在于，所述语言模型是训练好的RoBERTa语言模型，将描述目标的文本进行切割、编码并提取特征；所述语言特征包含目标的外观信息以及目标与场景之间的空间关系；

所述搜索区域特征中包含着目标信息和除目标外的背景信息；

所述记忆特征中包含了目标各种视觉形态的信息，同时包含少量的背景信息。

3.根据权利要求2所述的基于多模态记忆网络的单目标跟踪方法，其特征在于，所述对搜索区域图像或目标样本进行特征提取的实现方法为：

将搜索区域图像或目标样本分割为高和宽为W×H、通道数为3的图像块；使用Reshape操作将每个图像块展平成特征嵌入的深度D＝1×3WH的图像序列，使用线性层对图像序列进行特征提取得到搜索区域特征T_S或记忆特征T_M；

所述线性层是一层全连接的神经网络，对图像序列中不同通道的信息进行融合。

4.根据权利要求1-3中任意一项所述的基于多模态记忆网络的单目标跟踪方法，其特征在于，所述多模态注意力网络中，包含了12个串联的多模态注意力层，每个多模态注意力层中包含自注意力模块、记忆特征筛选模块和多层感知机，自注意力模块用于建立搜索区域特征、记忆特征和语言特征之间的相似关系，使目标样本、搜索区域和语言特征中的目标信息相互流通；记忆特征筛选模块用于消除记忆特征中包含的背景信息或噪声信息；多层感知机用于聚合不同通道之间的特征，挖掘其中的语义信息。