[发明专利]基于多层特征融合的Faster R-cnn上下文机制优化方法

说明书

本发明涉及一种基于多层特征融合的Faster R‑cnn上下文机制优化方法，属于目标识别技术领域。该方法在传统的使用HyperNet提取预选框特征向量的基础上，将基于不同于传统方式改进的多层特征融合模块加入模型中，对图像不同层次的语义信息进行提取；并将传统采样方式改进为反池化，避免棋盘化问题；然后，将得到的特征向量与上下文注意力机制融合得到多信息特征向量，最终进行识别分类。本发明能提高模型对于识别静止不动物体的正确率。

技术领域

本发明属于目标识别技术领域，涉及一种优化的上下文机制(基于多层特征融合的Faster R-cnn上下文机制)的目标检测方法。

背景技术

在一些高空监控的场景中，一些无源监控对于环境的捕捉在很长一段时间内是处于静态的，处于静态的摄像头捕捉到的画面相比于动态摄像头有捕捉到的画面在每一帧的分别上更具有长期的高度一致性。在捕捉到的视野中，处于不同月份不同天数的画面可能也具有十分的相似性，例如，轨道交通摄像头用于捕捉画面，在对收集到的画面进行分析处理时，尝试用距离这些画面相近的一段时间内的相关信息来帮助决定以及判断当前情况下的情境。这些通过包含过去记忆数据的注意力机制来完成。

视频目标检测架构建立在单帧模型之上，并通过合并来拟合其他帧的上下文线索(如传统HyperNet方式)，来处理视频数据中其余的问题，例如运动模糊、遮挡和罕见的姿势。这类处理方法有类似流的概念来聚合特征，或者使用相关性将当前时间步上的特征和相邻时间步紧密关联。上述大多数的视频检测方法都不太适合目标设置稀疏、不规则帧率的问题。例如，基于流的方法、3d卷积以及LSTMs这些通常比较密集、规则的帧率采样方法。

传统HyperNet方式。cnn通过输入图像进行提取特征，得到对应feature maps，对其输入rpn网络后产生得到对应的候选框，并实现对候选框的分类，分类包含对候选框内内容进行判别，判别其是图片背景还是另外前景内容，判别后剔除背景候选内容，只取前景。但是传统方式中，浅层信息中的特征语义信息薄弱，并不能完整的描述对于小目标的表达，而采用上采样的方式对特征图采样后与其他层特征融合，这一方式不仅会导致信息的遗失和遗漏，不利于对于小目标的检测，影响算法对于不同目标的检测速度。

反卷积，作为卷积层中的上采样方法，又被称作转置卷积。作为传统的卷积方式，它会在得到产生的图像中导致棋盘效应。因此在上采样方法中用反池化的方法替代，使棋盘化效应得到解决。

因此，亟需一种新的上下文机制优化方案来解决现有静态视频目标检测不准确的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于多层特征融合的Faster R-cnn上下文机制优化方法，利用静态摄像机的长期位置不发生改变的特点，使用一种特征冻结方式创建长期的记忆库，存储受探测者长期以来的习惯性行为。在结构中增加短期注意力机制，将正例和假正例也加入进学习的范围之内，修正识别结果，提高模型对于识别静止不动物体的正确率。

为达到上述目的，本发明提供如下技术方案：

一种基于多层特征融合的Faster R-cnn上下文机制优化方法，在传统的使用HyperNet提取预选框特征向量的基础上，将基于不同于传统方式改进的多层特征融合模块加入模型中，对图像不同层次的语义信息进行提取；并将传统采样方式改进为反池化，避免棋盘化问题。然后，将得到的特征向量与上下文注意力机制融合得到多信息特征向量，最终进行识别分类。

该方法具体包括以下步骤：

S1：将当前关键帧与相关上下文帧输入多层特征融合模块，对其提取预选框特征向量；

S2：多层特征融合模块中卷积层深层次采用反池化进行上采样；

S3：对于通过多层特征融合模块输出的当前关键帧与相关上下文帧的预选框特征向量，将其分别输入到注意力模块和构建短期记忆库的模块中；