[发明专利]基于融合自适应多外围框与十字池化特征的多目标特征提取方法

说明书

一种基于融合自适应多外围框与十字池化特征的多目标特征提取方法，以连续帧图像作为训练数据，针对其中每一帧图像中的目标分别提取三层多外围框的特征并进行自适应去除噪声的特征加权，接着对特征进行十字池化噪声去除，最后将自适应多外围框与十字池化特征联合并进行端到端训练，最后将训练后的目标检测器进行测试。本发明利用卷积神经网络架构，通过三元组损失函数优化特征，使相同的目标之间的特征相似度更强，不同的目标之间的特征相似度更弱，即使在视频帧中出现目标之间表观相似、检测框不准确、目标姿态变化等一系列情况，最终依旧能够达到优越的效果同时保持速度快速。

技术领域

本发明涉及的是一种视频目标跟踪领域的技术，具体是一种基于融合自适应多外围框与十字池化特征的多目标特征提取方法。

背景技术

在视频的多目标跟踪领域，目前常用的思路是：先通过一个检测器，检测出每帧每个目标框的位置，然后提取每个目标框的位置的特征，在经过数据关联算法，进行相邻帧的多目标特征相似度关联，特征提取的好坏，直接决定了多目标跟踪最终的效果。然而，对于大多数的特征提取方法，当不同目标的外表非常相似时，不同目标提取的特征相似很高，会出现数据关联错误，或当每帧目标比较多时，每个目标都单独提取特征，速度比较慢，或在相同的目标在不同帧之间会外表会发生形变，造成同一个目标不同帧提取的特征相似度下降。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于融合自适应多外围框与十字池化特征的多目标特征提取方法，利用卷积神经网络架构，通过三元组损失函数优化特征，使相同的目标之间的特征相似度更强，不同的目标之间的特征相似度更弱，即使在视频帧中出现目标之间表观相似、检测框不准确、目标姿态变化等一系列情况，最终依旧能够达到优越的效果同时保持速度快速。

本发明是通过以下技术方案实现的：

本发明以连续帧图像作为训练数据，针对其中每一帧图像中的目标分别提取三层多外围框的特征并进行自适应去除噪声的特征加权，接着对特征进行十字池化噪声去除，最后将自适应多外围框与十字池化特征联合并进行端到端训练，最后将训练后的目标检测器进行测试。

所述的三层多外围框的特征，将目标检测与特征提取融合为一个网络，从自适应噪声特征层分支出一个多外围特征提取网络，通过提取物体周围场景信息来帮助区分外表相似物体，其具体通过以下方式提取得到：首先对目标本身目标框尺寸进行一次ROI-Pooling，然后再分别放大目标框大小为原来的1.5、2.0倍数并分别进行一次ROI-Pooling，从而得到三个尺度的目标框特征，并分别将特征值归一化处理，最后将归一化后的三个尺度的目标框特征进行融合。

所述的归一化处理，处理后特征值范围为0～20。

所述的十字池化噪声去除，具体包括以下步骤：

①对维度为7×7×C的特征先进行纵向均分为两半，均分后的特征维度均为：7×4×C，然后将纵向均分后的特征进行每行取最大响应值操作，得到的特征维度为：7×2×C；

②对纵向均分后的特征进行横向均分，均分后的特征维度均为：4×7×C，然后将横向均分后特征进行每列取最大响应操作，得到的特征维度为：2×7×C，再将特征维度转变为：7×2×C；

③将纵向和横向操作得到的特征进行融合，得到的特征维度为：7×4×C。

技术效果

与现有技术需要先检测出目标框，根据目标框裁剪出目标的图像，不用针对每个目标的图像分别输入网络提取特征，过程繁琐且缓慢，很难满足实时性要求相比，本发明将目标检测与跟踪联合为一体，通过共享参数，大大地提高了多目标跟踪的实时性。

附图说明

图1为本发明目标检测效果图；

图2为自适应噪声去除模块示意图；

图3为多外围框特征提取模块示意图；