[发明专利]基于多层特征融合的Faster R-cnn上下文机制优化方法

权利要求书

1.一种基于多层特征融合的Faster R-cnn上下文机制优化方法，其特征在于，在传统的使用HyperNet提取预选框特征向量的基础上，基于改进的多层特征融合模块加入模型中，对图像不同层次的语义信息进行提取；并将传统采样方式改进为反池化；然后，将得到的特征向量与上下文注意力机制融合得到多信息特征向量，最终进行识别分类；该方法具体包括以下步骤：

S1：将当前关键帧与相关上下文帧输入多层特征融合模块，对其提取预选框特征向量；

S2：多层特征融合模块中卷积层深层次采用反池化进行上采样；

S3：对于通过多层特征融合模块输出的当前关键帧与相关上下文帧的预选框特征向量，将其分别输入到注意力模块和构建短期记忆库的模块中；

S4：当前关键帧的预选框特征向量经过长短期注意力模块，完成上下文相关特征的合并；

S5：收集所得到的处理后的预选框特征向量，对其进行分类与框优化。

2.根据权利要求1所述的基于多层特征融合的Faster R-cnn上下文机制优化方法，其特征在于，步骤S1中，将当前帧作为关键帧，与和当前作为关键帧的前后相关帧一同被抽取分别输入到多层特征融合模块中，多层特征融合模块是基于改进的HyperNet方法，基于VGG网络，对卷积层的不同深度层次采用不同方式提取特征；具体方法是将1、2、5层特征联合，并将1、4、5层的深层特征联合，最后将两层特征进行通道拼接；然后，整个模块通过卷积层转发并生成聚集分层的特征图，然后将它们压缩到一个统一的空间，即超特征；最后，构建一个生成预选框网络，输出各个帧提取到的预选框特征向量。

3.根据权利要求1所述的基于多层特征融合的Faster R-cnn上下文机制优化方法，其特征在于，步骤S2中，将多层特征融合模块中使用的传统的反卷积上采样方式更替为反池化；从池化后的数据还原出原始的数据值时，运用补位操作来对还原出的数据中缺失的数据进行补位。

4.根据权利要求1所述的基于多层特征融合的Faster R-cnn上下文机制优化方法，其特征在于，步骤S3～S4中，将当前帧预选框特征向量通过两个分别基于不同记忆库的注意力模块，这些模块以不同的方式索引到记忆库中，使得其中短期记忆库将上下文帧的特征纳入到此记忆库中；这些模块返回一个基于上下文的特征向量，并输入到下一步进行对预选框的分类与框优化。

5.根据权利要求1或4所述的基于多层特征融合的Faster R-cnn上下文机制优化方法，其特征在于，步骤S3中，相关上下文的预选框特征向量输入短期记忆模块中，构建短期记忆库；当前关键帧的预选框特征向量分别经过长、短期记忆模块中，将其汇总为与短期特征和长期特征相关的特征向量。

6.根据权利要求1或4所述的基于多层特征融合的Faster R-cnn上下文机制优化方法，其特征在于，步骤S5中，获取经过注意力模块处理后的关键帧及相关上下文帧的预选框特征向量，送入分类模块中，在传统FC-Dropout-FC-Dropout的层次设计基础上，在全连接层前添加一个卷积层；即预选框通过池化层后增加一层卷积，其余与传统模型大同小异；通过池化和卷积层对预选框进行分类，完成目标检测输出。