[发明专利]基于融合自适应多外围框与十字池化特征的多目标特征提取方法

权利要求书

1.一种基于融合自适应多外围框与十字池化特征的多目标特征提取方法，其特征在于，以连续帧图像作为训练数据，针对其中每一帧图像中的目标分别提取三层多外围框的特征并进行自适应去除噪声的特征加权，接着对特征进行十字池化噪声去除，最后将自适应多外围框与十字池化特征联合并进行端到端训练，最后将训练后的目标检测器进行测试；

所述的十字池化噪声去除，具体包括以下步骤：

①对维度为的特征先进行纵向均分为两半，均分后的特征维度均为：，然后将纵向均分后的特征进行每行取最大响应值操作，得到的特征维度为：；

②对维度为的特征进行横向均分，均分后的特征维度均为：，然后将横向均分后特征进行每列取最大响应操作，得到的特征维度为：，再将特征维度转变为：；

③将纵向和横向操作得到的特征进行融合，得到的特征维度为：。

2.根据权利要求1所述的方法，其特征是，所述的三层多外围框的特征，将目标检测与特征提取融合为一个网络，从自适应噪声特征层分支出一个多外围特征提取网络，通过提取物体周围场景信息来帮助区分外表相似物体，其具体通过以下方式提取得到：首先对目标本身目标框尺寸进行一次ROI-Pooling，然后再分别放大目标框大小为原来的1.5、2.0倍数并分别进行一次ROI-Pooling，从而得到三个尺度的目标框特征，并分别将特征值归一化处理，最后将归一化后的三个尺度的目标框特征进行融合。

3.根据权利要求1所述的方法，其特征是，所述的训练数据中的每一帧图像预先经过主干的卷积神经网络检测且为连续帧图像且每张图像包括每个目标的id号和在图像中的左上角和右下角坐标。

4.根据权利要求3所述的方法，其特征是，所述的主干的卷积神经网络采用基于VGG-16网络结构的SSD，采用任意大小分辨率的图像进行训练，网络会将任意分辨率大小的图像先调整为得到行人与背景的二分类的目标检测器。

5.根据权利要求1所述的方法，其特征是，所述的自适应去除噪声是指：从主干的卷积神经网络VGG-Net的Conv4_3的卷积层，经过一个卷积核为，stride为2的卷积层，经过一个反卷积层使其与Conv4_3卷积层大小相同，再经过一个Sigmoid激活层以去除噪声，然后将输出的特征先和Conv4_3特征对应相乘，得到的结果再和Conv4_3特征相加，最终得到去除噪声的特征；经过自适应去除噪声后的特征，其中：为第n层的特征，W是对输入数据进行非线性变换的参数，网络可以自适应学习W参数。

6.根据权利要求1所述的方法，其特征是，所述的特征联合是指：将浅层的特征进行了相互共享：在训练好的检测器网络中，分支出特征提取网络，即用检测器的框提取多外围框特征，具体步骤包括：设置检测器的预测框的置信度大于0.3作为检测器的输出框，同时真实框作为监督，每一个真实框分别与检测器的每个输出框计算框的重叠率，当真实框存在与其重叠率大于0.8的检测器输出框，则选择该检测器输出框，否则选择真实框；

多外围框ROI-Pooling得到的特征之后，后面接一个过渡卷积层，然后接Conv5_1、Conv5_2、Con5_3卷积层、后面接输出维度为512的全连接层，在Con5_3卷积层后面加入十字池化模块，后面接输出维度为128的全连接层，然后512维的特征和128维特征分别采用TripletLoss方法进行优化。

7.根据权利要求6所述的方法，其特征是，所述的优化，其正负样本采样策略优选为：在得到许多目标多外围框ROI-Pooling特征之后，随机选一个样本，该样本称为Anchor，然后再随机选取一个和Anchor 属于相同身份的样本和不同身份的样本，这两个样本分别对应的称为Positive和Negative由此构成一个(Anchor，Positive，Negative)三元组，假设三元组对应的特征，分别为：、、，则目标函数的公式为：，。