[发明专利]图像目标跟踪模型建立方法及图像目标跟踪方法

说明书

本发明公开了一种图像目标跟踪模型建立方法及图像目标跟踪方法，属于图像目标跟踪领域，包括：建立深度学习模型，包括模板分支、搜索分支和先验分支，输入分别为目标位置已知的模板图像、搜索图像和由目标位置已知的图像与对应目标位置概率分布图堆叠而成的先验图像，三个分支用于对输入图像进行语义编码，分别得到模板特征图、搜索特征图和先验特征图；模型还包括位置估计模块，用于将搜索特征图与先验特征图逐像素点乘后与模板特征图做互相关计算，并将结果倍率恢复至与搜索图像相同，得到目标位置概率分布图；建立训练数据集并对模型进行训练，得到图像目标跟踪模型。本发明能够解决相似性结构、边缘、阴影等干扰问题，提高图像目标跟踪精度。

技术领域

本发明属于图像目标跟踪领域，更具体地，涉及一种图像目标跟踪模型建立方法及图像目标跟踪方法。

背景技术

图像目标跟踪指的是一种利用计算机算法在给定初始图像目标坐标的情况下，预测此后所有序列图像的目标位置，以获取目标点运动路径的计算机视觉应用。相似性度量是图像目标跟踪领域的常用方法，如常用的模板匹配方法、孪生全卷积网络算法等。其中Bertinetto等人提出的孪生全卷积网络(Fully-Convolutional Siamese Networks，SiameseFC)使研究者们看到了深度学习应用于目标跟踪的突破口，其结构简单、实时性好、跟踪效果显著，受到研究者们的广泛青睐。

SiameseFC网络的结构如图1所示，它包含两个分支，其中第一个分支为模板分支，输入的模板图像为第一帧图像中包含目标位置的像素块；第二个分支为搜索分支，输入的搜索图像为目标位置未知的当前帧图像。模板图像与搜索图像分别经过第一分支与第二分支的全卷积网络，得到模板特征图与搜素特征图，二者计算互相关系数得到搜索图像中目标预测位置的概率分布图。其中两个分支的全卷积网络结构相同、参数共享。由于该网络采用了相似性匹配的思想以及共享网络参数的方法，模板图像与搜索图像会经过相同参数编码，保持特征含义的一致性，容易进行训练。但是，该方法仅在空间维度上搜索相似目标，而相似结构经过参数编码后具有与目标点相似的特征属性，在计算互相关时得到与真实目标点相似的输出响应，从而对跟踪产生干扰；边缘的高对比度使得本将超出边界的目标点变得更加不明显，在该网络的相似度匹配规则下目标点匹配转而变成更加明显的边缘的匹配，从而造成一条带状边缘响应，严重影响跟踪性能；而落入阴影的目标点，本身的结构特征被阴影隐匿，使得周围的无关特征匹配决定了匹配结果，输出的特征图往往是不规则的多响应输出，甚至是一大片的高亮响应。因此SiameseFC网络容易受环境中与目标相似结构、边缘、阴影干扰，造成多响应输出，一旦搜索范围内出现干扰，极易出现误跟踪情况，这样的失误在医学临床应用中后果不堪设想。例如无创消融肝脏病灶时，肝脏因呼吸运动而发生移动，为了精确消融病灶，需要对目标位置进行精确跟踪，一旦周围有相似结构，跟踪算法失效，很有可能造成医疗事故。

为了避免跟踪受到周围相似结构干扰，SiameseFC网络采用的是给输出的概率图乘上余弦窗，使远距离的位置出现目标点的概率降低；Alvaro Gomariz等人以及Fei Liu等人采用限制目标点运动范围的方法，避免不合理的偏移；但这些方法太过简单，难以适应复杂情况。Alvaro Gomariz等人还提出了一种给予传统方法的时序更新策略，Lijun Zhou等人在SiameseFC基础上加上Kalman滤波；这些策略对目标点位置的修正策略虽有一定帮助，但是基于传统方法的修正策略往往泛化能力有限；Rahul Rama Varior等人期望通过加入循环神经网络，为SiameseFC提供时序信息，但是整合循环神经网络使得网络结构庞大，实时性能降低。

总的来说，上述图像目标跟踪方法均不能有效解决相似结构干扰问题，图像目标跟踪精度有待进一步提高。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种图像目标跟踪模型建立方法及图像目标跟踪方法，其目的在于，结合先验信息使网络区分出目标位置与周围相似性结构的差别，解决相似性结构干扰问题，提高图像目标跟踪精度。