[发明专利]一种基于孪生网络的图像目标定位方法

说明书

本发明公开了一种基于孪生网络的图像目标定位方法，包括：根据图像中的目标大小和所在位置对图像进行裁剪和数据增强处理、获得视频序列训练集中的全部图像组成的样本对；构建自注意力机制模块和互注意力机制模块，构建基于注意力机制的交叉融合孪生网络，将视频序列裁剪得到的样本对输入至基于注意力机制的交叉融合孪生网络进行训练；使用训练好的交叉融合孪生网络计算目标模板与视频序列各帧的得分图，记录得分图中得分最大的位置即为目标位置。通过自注意力机制模块对通过该模块的图像特征进行增强，通过互注意力机制模块聚合模板分支和搜索分支的有效信息，弥补在特征提取过程中双方无法获取对方重要信息的问题，提升跟踪器对复杂场景变化的适应能力。

技术领域

本发明涉及孪生网络和图像目标分析技术领域，尤其涉及一种基于孪生网络的图像目标定位方法。

背景技术

人类至少有80％以上的外界信息通过视觉得到，视觉是人类识别判断周围事物的重要依据。但是由于人类视觉的有限性，仅仅依靠人类的视觉处理信息是远远不够的。近年来，随着计算机相关技术的快速发展，人们尝试通过利用计算机来代替人的视觉来处理各种相关信息，通过计算机模拟人类视觉识别判断周围事物。这种利用计算机实现人的视觉，希望根据感知到的图像(视频)对实际的目标和场景内容做出有意义的判断的研究课题被称为计算机视觉。

目标检测与跟踪是计算机视觉领域中重要的一个研究方向，在计算机视觉的研究领域得到越来越多的关注。目标检测与跟踪，就是通过分析成像传感器获取到的场景视频图像帧，从背景信息中检测、提取、分割出运动目标，进而利用相似度算法在随后的序列图像中估算出目标最有可能的位置信息，为深层次的目标行为的分析与理解奠定基础；其实时检测、跟踪运动目标的功能，为后续的目标识别与行为理解提供了可靠的数据来源。

运动图像的目标跟踪在当前社会具有众多的应用场景，能够在多个领域和实地场所发挥作用，具有巨大的潜力和广阔的发展前景。目前，目标跟踪技术主要应用于以下领域：

1)智能视频监控：基于运动识别(基于步法的人类识别、自动物体检测等)，自动化监测(监视一个场景以检测可疑行为)；交通监视(实时收集交通数据用来指挥交通流动)；

2)人机交互：传统人机交互是通过计算机键盘和鼠标进行的，为了使计算机具有识别和理解人的姿态、动作、手势等能力，跟踪技术是关键；

3)机器人视觉导航：在智能机器人中，跟踪技术可用于计算拍摄物体的运动轨迹；

4)虚拟现实：虚拟环境中3D交互和虚拟角色动作模拟直接得益于视频人体运动分析的研究成果，可给参与者更加丰富的交互形式，人体跟踪分析是其关键技术。

5)医学诊断：跟踪技术在超声波和核磁序列图像的自动分析中有广泛应用，由于超声波图像中的噪声经常会淹没单帧图像有用信息，使静态分析十分困难，而通过跟踪技术利用序列图像中目标在几何上的连续性和时间上的相关性，可以得到更准确的结果。

传统的基于孪生网络的跟踪算法对图像进行目标定位时，在跟踪过程中目标模板不会根据搜索图像进行在线自适应调整且没有关注图像中的重点特征，不利于应对各种复杂的跟踪场景。

发明内容

根据现有技术存在的问题，本发明公开了一种基于孪生网络的图像目标定位方法，具体包括如下步骤：

根据图像中的目标大小和所在位置对图像进行裁剪和数据增强处理、获得视频序列训练集中的全部图像组成的样本对；

构建自注意力机制模块和互注意力机制模块，其中所述自注意力机制模块包括通道注意力机制模块和空间注意力机制模块，所述互注意力机制模块包括两个结构相同的第一通道注意力机制模块和第二通道注意力机制模块；