[发明专利]基于动态紧凑记忆嵌入的可变形单目标跟踪方法及装置

说明书

本发明公开了一种基于动态紧凑记忆嵌入的可变形单目标跟踪方法及装置，方法包括：基于紧凑记忆嵌入的目标相关性匹配，以获取目标前景和背景相似性，以及目标后验概率；而紧凑记忆嵌入的动态调节机制依据特征相关性，选取当前目标特征中的高质量部分整合到记忆中；采用逐个像素点到参考特征全局的关联方式，捕获当前目标特征中的目标变形状态，实现可变形特征的提取；将目标前景相似性、形变特征等四个特征沿通道级联并输入到解码器中获得精细化的目标分割掩模；基于目标分割掩模获取目标的矩形包围框实现视觉跟踪定位。装置包括：处理器和存储器。本发明解决了跟踪过程中诸如遮挡、目标形变、目标外观变化、相似目标干扰等挑战性问题。

技术领域

本发明涉及单目标视觉跟踪领域，尤其涉及一种基于动态紧凑记忆嵌入的可变形单目标跟踪方法及装置。

背景技术

视觉对象跟踪是计算机视觉领域中一项基本且具有挑战性的任务。它具有许多实际应用，例如：交通监控、人机交互、自主机器人、自动驾驶等。尽管现有的跟踪方法在准确性和鲁棒性方面都得到了显著的改善，但是仍然有一些尚待解决的挑战性问题，例如：遮挡，变形，背景混乱等。

孪生跟踪器是一种简洁高效的跟踪算法。在跟踪过程中，搜索区域和模板之间的最大相关性被视为目标的定位。为了实现更好的模型泛化性，通常使用大量的有标记数据对孪生跟踪器进行训练。SINT(基于孪生化实例搜索的视觉跟踪方法)和SiamsesFC(基于孪生全卷积网络的视觉跟踪方法)对孪生跟踪领域的发展具有里程碑式的影响。他们是首次尝试端到端地训练孪生网络以进行视觉跟踪。SiamRPN++(基于大型主干网络和孪生区域建议网络的跟踪模型)和SiamDW(基于更宽更深的孪生网络跟踪模型)改进了ResNet(基于残差连接的网络)模型的结构，并将其成功应用于孪生跟踪模型上，从而显著提高了跟踪性能。SiamRPN(基于孪生区域建议网络的跟踪模型)将区域提议网络(RPN)应用于孪生跟踪网络。两分支的网络具有用于锚的背景-前景分离的分类网络头，以及用于建议框细化的回归网乱头。与基于锚的方法相比，无锚点跟踪方法(Siamfc++(基于无锚点回归的孪生全卷积跟踪模型)，SiamCAR(用于视觉跟踪的孪生全卷积分类和回归模型)，SiamBAN(基于自适应包围框回归的跟踪模型)，Ocean(基于目标感知的无锚点跟踪方法))避免了大量的锚点预设，从而显著减少了模型超参数。这些方法可以实现更灵活的目标边界框回归。孪生跟踪方法尽管简单有效，但是固定模板很难表达目标外观和尺度方面的变化。MOSSE(基于自适应相关滤波跟踪方法)是判别式相关滤波(discriminant correlation filters,DCF)跟踪方法的首创。作为在线跟踪方法，相关滤波器对于目标外观和比例变化具有更好的适应性和通用性。随后的改进策略例如：连续卷积、动态更新训练集、空间正则化、时间平滑正则化等，都进一步改善了基于DCF跟踪器的性能。通过结合DCF的在线更新和IOU-Net(实现目标重叠率最大化的回归网络模型)对目标的定位细化，ATOM(通过目标重叠最大化实现目标精确跟踪)和DiMP(基于判别式模型预测的视觉跟踪方法)在模板匹配类跟踪方法中获得了当时最佳的跟踪性能。

CSR-DCF(结合相关滤波和颜色分割的跟踪方法)通过前景和背景的颜色直方图构造目标掩模，然后将此掩模添加到相关滤波器上，很好地抑制了边界效应。而SiamMask(结合目标分割的跟踪方法)将分割网络分支扩展到孪生跟踪模型上，借助分割损失来增强模型的表达能力。与常见的视频对象分割(video object segmentaion,VOS)方法相比，SiamMask通过采用轻量级的分割网络实现了较高的跟踪速度。与“基于检测的跟踪”不同，D3S(判别式分割跟踪模型)创新地用分割网络替换跟踪模型中的目标回归分支，通过将DCF的精确定位和分割模型对目标变形的鲁棒性相结合，D3S获得了先进的跟踪性能。DMB(基于双记忆力库的分割跟踪模型)通过存储目标的历史外观和空间定位信息，为当前目标分割提供丰富的参考。