[发明专利]基于动态紧凑记忆嵌入的可变形单目标跟踪方法及装置

权利要求书

1.一种基于动态紧凑记忆嵌入的可变形单目标跟踪方法，其特征在于，所述方法包括：

目标相似度匹配过程中生成的特征亲和力矩阵，即表示了当前目标特征与已有目标特征记忆之间的相关性；通过对特征亲和力矩阵进行逐行的筛选前K个值并取其平均，以获取目标前景相似性和目标后验概率；

依据获取的当前目标特征与已有目标特征记忆之间的相关性，合并已有目标特征记忆和当前目标特征之间的高相关部分，将与已有目标特征记忆具有中等相似性的部分扩充到记忆中，将低相关的部分丢弃，实现了记忆嵌入的动态自适应调节；

采用逐个像素点到全局特征的关联方式，通过聚合查询像素和参考特征之间的加权相关性，捕获当前目标特征中的目标变形状态，在当前目标特征和参考特征之间建立对应关系，实现可变形特征的提取；

将目标前景相似性和目标后验概率，可变形特征以及在线判别式相关滤波器中获取到的目标空间定位，沿通道级联并输入到解码器中获得精细化的目标分割掩模；基于目标分割掩模获取目标的矩形包围框实现视觉跟踪定位；

其中，所述依据获取的特征相关性，合并已有目标特征记忆和当前目标特征之间的高相关部分，将与已有目标特征记忆具有中等相关性的部分扩充到记忆中，将低相关的部分丢弃，实现了记忆嵌入的动态自适应调节具体为：

利用序列中第一帧的目标信息初始化记忆嵌入，并将其作为记忆库的主要部分，将当前目标特征与已有目标特征记忆进行对比，找出两者的相似部分；

对于目标查询中的每一个元素，搜索亲和力矩阵，以获得其与目标特征记忆M_k∈R^Thw的最大相似部分；

若两者之间的最大相关大于某个上限值，则遵循哈希单映射原则将具有相同键值的记录插入到相同的存储空间中，即采用加权融合方式，将当前目标特征中与已有目标特征记忆具有高相关的部分更新到已有目标特征记忆嵌入中；对于和已有目标特征记忆的相关性值高于总体平均值的当前目标特征，会将其直接扩展到已有目标特征记忆中；对目标前景和背景掩模的对应部分进行同样处理。

2.根据权利要求1所述的一种基于动态紧凑记忆嵌入的可变形单目标跟踪方法，其特征在于，所述获取的当前目标特征与已有目标特征记忆之间的相关性具体为：

构建目标相似性匹配模型，模型中的键是第一帧的目标特征，模型中的值是视频第一帧的前景和背景分割掩模；

当一个新的帧I_t-1被模型分割之后，当前目标特征F_t-1和获得的掩模将与历史信息整合，通过不断整合新的目标信息到键和值的记忆中，所构成的记忆嵌入将包含丰富的目标外观信息；对于当前目标特征，以及已有目标特征记忆，先将二者进行维度变换，再进行矩阵相乘获得二者的亲和力矩阵，该亲和力矩阵即表达了二者的相关性。

3.根据权利要求1所述的一种基于动态紧凑记忆嵌入的可变形单目标跟踪方法，其特征在于，所述将当前目标特征中与已有目标特征记忆具有高相关的部分更新到已有目标特征记忆嵌入中具体为：

合并已有目标特征记忆和当前目标特征之间的高相关部分：

M_k(j')＝βF_t-1(i)+(1-β)M_k(j),

其中，M_k(j')为合并后的目标特征记忆，M_vf(j')和M_vb(j')分别为合并后的目标前景和背景值记忆，j'为记忆存储合并后的下标索引值，β为融合权重，F_t-1为目标查询，Y^f_t-1为前景，Y^b_t-1为背景，M_k为目标特征记忆，M_vf为目标前景值记忆，M_vb为目标背景值记忆，i为当前目标特征中和已有目标特征记忆具有中等相似性的特征点的下标索引，j为已有目标特征记忆中和当前目标特征具有中等相似性的部分的下标索引；

将与已有目标特征记忆的相关性值高于平均值的当前目标特征直接扩展到已有目标特征记忆中：

其中，Union(.)表示当前目标特征和相应记忆的取并集操作，为已有键记忆和前一时刻目标特征的并集，为已有目标前景值记忆和前一时刻目标前景掩模的并集，为已有目标背景值记忆和前一时刻目标背景掩模的并集。