[发明专利]一种基于多阶段特征融合信息复用的多光谱行人检测方法

权利要求书

1.一种基于多阶段特征融合信息复用的多光谱行人检测方法，其特征在于，所述方法包括：

将成对的红外和可见光图片经由双流VGG16网络分别提取中间层特征做早期特征堆叠融合，获得早期融合特征，并基于所述早期融合特征生成行人建议；将生成的每一个行人建议先映射回三个多模态特征进行多特征池化，得到高层池化特征，再进行高层池化特征加权融合，同时使用高低层特征池化策略对高低层池化特征进行组合，以完成高低层特征的联合，得到高低层池化联合特征；最后将高低层池化联合特征送入全连接层获得行人目标的分类分数和定位框；

所述行人建议指对行人的初步定位信息；每对红外和可见光图片为在同一时刻、同一场景下拍摄并经过配准后的红外图片和可见光图片。

2.根据权利要求1所述的方法，其特征在于，所述方法包括：

S1，获取成对的红外图片和可见光图片；每对图片为在同一时刻、同一场景下拍摄并经过配准后的红外图片和可见光图片；

S2，将每对红外图片和可见光图片经由双流VGG16网络分别提取低层特征、中间层特征以及高层特征；

S3，将提取到的红外低层特征Conv3-T和可见低层特征Conv3-V进行特征融合得到低层融合特征Conv3-F，并对所述低层融合特征Conv3-F进行感兴趣区域池化操作得到低层池化特征Pool-conv3；将提取到的红外中间层特征Conv4-T和可见中间层特征Conv4-V进行早期特征堆叠融合，得到早期融合特征Conv4-F，并对所述早期融合特征Conv4-F进行卷积操作得到第三模态高层特征Conv5-F，并对所述第三模态高层特征Conv5-F进行感兴趣区域池化操作得到第三模态高层池化特征Pool-F；将提取到的红外高层特征Conv5-T和可见高层特征Conv5-V分别进行感兴趣区域池化操作得到红外高层池化特征Pool-T和可见高层池化特征Pool-V；

S4，将得到的红外高层池化特征Pool-T和可见高层池化特征Pool-V进行后期池化特征加权融合操作得到后期加权融合池化特征Pool-W，并将所述后期加权融合池化特征Pool-W、第三模态高层池化特征Pool-F以及低层池化特征Pool-conv3进行级联操作得到高低层池化联合特征，最后将高低层池化联合特征送入全连接层获得行人目标的分类分数和定位框。

3.一种基于多阶段特征融合信息复用的多光谱行人检测网络框架，其特征在于，所述网络框架包括：特征提取模块、中间层特征融合模块、区域建议生成模块、区域注意力模块、后期池化特征融合模块、高低层特征级联模块以及全连接层；其中，通过特征提取模块提取红外中间层特征Conv4-T和可见中间层特征Conv4-V送入中间层特征融合模块获得早期融合特征Conv4-F，然后早期融合特征Conv4-F进行卷积操作得到第三模态高层特征Conv5-F输入区域建议生成模块获得行人建议，同时在由特征提取模块提取到的红外高层特征Conv5-T和可见高层特征Conv5-V后接入区域注意力模块以优化特征，再将行人建议映射回特征提取模块提取的低层融合特征Conv3-F、红外高层特征Conv5-T、可见高层特征Conv5-V以及中间层特征融合模块获得的特征Conv5-F，并对其进行池化分别获得低层池化特征Pool-conv3、红外高层池化特征Pool-T、可见高层池化特征Pool-V、第三模态高层池化特征Pool-F，然后将Pool-T和Pool-V输入后期池化特征融合模块得到后期加权融合池化特征Pool-W，再将Pool-W、Pool-conv3、Pool-F输入高低层特征级联模块获得高低层池化联合特征，输入全连接层获得行人目标的分类分数和定位框。

4.根据权利要求3所述的网络框架，其特征在于，所述特征提取模块以及全连接层选用在ImageNet上预训练的VGG16网络为基础网络。