[发明专利]一种基于改进Faster RCNN的行人检测方法

权利要求书

1.一种基于改进Faster RCNN的行人检测方法，其特征在于，该方法包括以下步骤：

步骤1：获取行人检测数据样本制作数据集，并进行预处理；

步骤2：训练RPN网络，采用K-means SMOTE算法平衡正负样本，使用RPN网络提取训练集上的候选区域作为Fast R-CNN的训练样本；

步骤3：训练RPN网络和Fast R-CNN网络，共享卷积层特征，获得训练好后的FasterRCNN行人检测模型；

步骤4：将待检测的行人图像输入到训练好后的Faster RCNN行人检测模型，得到最终的检测结果。

2.根据权利要求1所述的一种基于改进Faster RCNN的行人检测方法，其特征在于，步骤1的具体方法如下：

步骤1.1：从Caltech数据集获取行人检测所需的用来训练和检测的数据样本；

步骤1.2：预处理将获取的数据样本转化为标准的VOC数据格式，再生成对应的带标注的文件。

3.根据权利要求1或2所述的一种基于改进Faster RCNN的行人检测方法，其特征在于，步骤2的具体方法如下：

步骤2.1：将训练样本输入到基础网络VGG-16，生成用于RPN网络训练的前景样本和背景样本，具体过程为：

步骤2.1.1：将训练集中的图片通过VGG-16进行特征提取；

步骤2.1.2：对于特征图的每一个点，输出3种尺度和3种长宽比的9个anchors；

步骤2.1.3：对于训练集中的每张图像，通过计算真值区域和anchors的重叠比例，与设置的阈值进行对比，大于阈值的为前景样本，则此anchor为正样本，其余为背景样本，则此anchor为负样本；

步骤2.2：训练RPN时每个mini-batch包含从一张图像中随机提取的256个anchors，此时正负样本不均衡，采用K-means SMOTE算法生成新的正样本来平衡正负样本的具体过程为：

步骤2.2.1：将抽取的256个anchors中心点向量作为一个数据集，将不均衡数据集分为正样本集和负样本集；

步骤2.2.2：对于负样本集Smax，负样本总数为S，通过k-means聚类，簇划分A＝{A₁，A₂，...，A_a}，划分后每个负样本子簇中心点向量：{μ₁，μ₂，...，μ_a}，每个负样本子簇的anchor样本数量：{m₁，m₂，...，m_a}，a为负样本通过聚类划分的聚类的个数；

步骤2.2.3：对于正样本集Smin，正样本总数为s，通过k-means聚类，簇划分B＝{B₁，B₂，...，B_b}，划分后每个正样本子簇中心点向量：{λ₁，λ₂，...，λ_b}，每个正样本子簇的anchor样本数量：{M₁，M₂，...，M_b}，b为正样本通过聚类划分的聚类的个数；

步骤2.2.4：对于每一个正样本子簇，找出所有有效正样本子簇，在这些有效正样本子簇中生成新的正样本，找出所有有效正样本子簇的具体过程为：

步骤2.2.4.1：设有效正样本子簇点数量至少为δ，遍历步骤2.2.3中划分的正样本子簇B_i，i＝1，2，...，b，如果M_i＜δ，则B_i不是有效正样本子簇，如果M_i≥δ，继续步骤2.2.4.2；

步骤2.2.4.2：设有效正样本子簇中心点与任意负样本子簇中心点的欧式距离不得低于ξ，对于符合步骤2.2.4.1的所有正样本子簇，计算它们的中心点向量λ_i与所有负样本子簇中心点向量μ_j欧氏距离，如果dist(λ_i，μ_j)＜ξ，则B_i不是有效正样本子簇；如果dist(λ_i，μ_j)≥ξ，则B_i是有效正样本子簇，j＝1，2，...，a；

步骤2.2.4.3：按照以上两个步骤得到k个有效正样本子簇C＝{C₁，C₂，...，C_k}，对应的每个有效正样本子簇的anchor样本数量：Mm＝{Mm₁，Mm₂，...，Mm_k}；

步骤2.2.5：假设步骤2.2.4中得到的每一个有效正样本子簇C_q对应需要合成的正样本数为n_q，满足则

步骤2.2.6：在每个有效正样本子簇中，通过线性插值依次合成n_q个新样本，直到每个子簇都生成对应数量的新样本，合成新样本的具体过程为：

步骤2.2.6.1：对于有效正样本子簇C_q中的中心点x_q，以欧氏距离为标准计算x_q到C_q中所有正样本的距离，按距离由小到大的顺序从C_q中选择x_q的w个近邻样本；

步骤2.2.6.2：在w个近邻样本中随机选择n_q个样本，记为y_u，在x_q与y_u之间进行随机线性插值，构造新的正样本new_u＝x_q+rand(0，1)*(y_u-x_q)，u＝1,2,...,n_q；

步骤2.2.6.3：将每个有效正样本子簇中生成的新正样本组成一个新正样本集；

步骤2.2.7：将步骤2.2.6生成的新正样本集加入原来随机抽取的256个anchors样本集组成一个样本均衡的新训练集S_new；

步骤2.3：将平衡样本后的训练集用来训练RPN，利用训练好的RPN网络生成候选框。