[发明专利]基于多语义特征融合的小目标行人的多尺度检测方法

说明书

本发明公开了基于多语义特征融合的小目标行人的多尺度检测方法，步骤1：对选取的行人公共数据集进行预处理，将其划分为训练集和测试集；步骤2：对Faster R‑CNN网络模型进行改进，提取并融合浅层特征和深层抽象特征后得到feature maps，将feature maps进行激活，同时将feature maps送入P‑RPN网络生成候选框，对RPN网络中anchor box进行优化，然后将ROI Pooling得到的特征向量进行降维操作，得到多语义特征融合的小目标行人的多尺度检测模型；步骤3：进行多语义特征融合的小目标行人的多尺度检测模型的训练；步骤4：进行小目标行人检测。本发明提升了网络模型对小目标行人的检测效果。

技术领域

本发明属于基于深度学习的计算机视觉技术领域，具体涉及基于多语义特征融合的小目标行人的多尺度检测方法。

背景技术

传统的行人检测方法基于人工提取特征，如梯度方向直方图(Histogram ofOriented Gradient,HOG)特征、局部二值模式(Local Binary Patterns,LBP)特征、聚合通道特征(Aggregated Channel Features,ACF)等，然后将这些提取到样本行人特征输入到分类器模型中来实现目标检测。2003年Viola等人提出VJ算法，采用Haar特征+Adaboost分类器实现快速的行人检测。Dalal等人在2005年提出的HOG特征+SVM分类器检测方法，很有效地提高了行人检测的准确度。之后出现的很多传统行人检测算法都是基于HOG进行改进和扩展，如2008年Felzenszwalb等人提出的DPM(Deformable Parts Model)模型，对于行人检测的准确度和速度都有了很大的提升。尽管以上基于人工提取特征的传统检测方法在诸多行人检测任务中都取得了可观的检测效果，但手工设计特征需要依赖资深的设计经验，更新迭代速度较慢，并且人工设计的特征对于行人的多样性变化没有很好的鲁棒性。

近年来随着深度学习的快速发展，基于神经网络的图像目标检测算法逐渐成为主流，主要分为两类：一类是单阶段检测算法，包括YOLO(You Only Look Once)、YOLOv2、SSD(Single Shot MultiBox Detector)等。该类算法的核心思想是将目标检测任务转化为一个回归问题进行求解，输入原始图像直接输出其位置及类型的判别结果，这使得单阶段算法在检测速度方面具有一定的优势，但对于小目标和相互靠的很近的物体检测效果不佳。另一类是双阶段检测算法，包括基于区域的卷积神经网络(Region-based ConvolutionalNeural Network,R-CNN)及其系列优化算法Fast R-CNN、Faster R-CNN等。这类算法主要是通过Region Proposal生成若干目标候选区域，并利用卷积神经网络(ConvolutionalNeural Network,CNN)自动提取图像特征，最后进行目标类型的判别以及标记其位置。相比于单阶段检测算法，双阶段方法具有较高的检测精度，但检测速度相对较慢。由于双阶段RCNN系列算法对于不同尺度目标都具有良好的检测性能，它们被广泛应用到各类目标检测任务中。利用Faster R-CNN、RSS(Random Sampling Softmax)损失函数、OIM(OnlineInstance Matching)损失函数实现行人检测与再识别一体化；基于Faster R-CNN分别与ZF、VGG-16、ResNet-101 3种卷积神经网络结合，提高车型识别能力；通过引入多任务学习，特征金字塔和特征串联等策略改进Faster R-CNN，实现不同尺度的人脸检测。

目前行人检测已经取得了大量的研究结果，在Fast R-CNN模型的基础上引入多个内置子网，用于检测不相交范围内的多尺度行人，提出HyperLearner框架，融合行人特征和额外的通道特征，提高行人检测质量；引入了新的数据集PRW,并通过将模型检测得分结合到相似性测量的置信加权相似性度量(Confidence Weighted Similarity,CWS)，用来评估原始图像中的行人再识别；以Faster R-CNN为基础，提出一种金字塔RPN结构，来解决井下行人的多尺度问题，同时在算法中加入特征融合，增强井下小目标行人的检测性能。