[发明专利]基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法

权利要求书

1.基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法，其特征在于，该方法包括如下步骤：

第一步：构建训练数据库

1)采集监测地点不同场景的图像，图像采集的场景包括晴天、阴天、雨天和夜晚；根据行人距离摄像头的远近将采集到的图像中的人物目标划分为不同尺寸，其中面积小于32*32像素为小尺寸目标，在32*32像素至96*96像素之间为中尺寸目标，大于96*96像素为大尺寸目标；按以上三种人物目标尺寸1:1:1的数量比挑选出图像，并对挑选出的图像进行数据增强，最后进行图像尺寸统一化操作，获得原始数据集；

2)数据集划分：对步骤1)中得到的原始数据集采用人工的方式添加标签，用矩形框分别标记出图像中的人物目标和围墙，并且按一定数量比例随机将原始数据集中的图像划分训练集和验证集；

第二步：构建轻量化YOLO v5网络模型

1)训练集的预处理：对第一步的步骤2)中得到的训练集进行数据增强；

2)搭建轻量化YOLO v5网络模型

轻量化YOLO v5网络模型为YOLO v5网络模型的改进结构，具体的，为将YOLO v5网络模型的主干网络中顺接的Foucs模块、CBL模块、CSP1_1模块、CBL模块、CSP1_3模块、CBL模块、CBL模块、CSP1_3模块、CBL模块、CBL模块、CBL模块、SPP模块、CBL模块替换成顺接的2个CBL模块、SFB1模块、2个SFB2模块、SFB1模块、7个SFB2模块、SFB1模块、SFB2模块、CBS模块；轻量化YOLO v5网络模型的主干网络部分的输入首先输入到第一个CBL模块中，第二个SFB2模块的输出分别输入到与其顺接的SFB1模块和Neck网络部分的第一个CBL模块，CBS模块的输出输入到YOLO v5网络模型的主干网络中的CSP2_1模块中，轻量化YOLO v5网络模型的其它部分结构与YOLO v5网络模型相同；

3)训练网络

采用在ImageNet得到的预训练权重初始化主干网络，使用kaiming正态分布初始化卷积层参数，网络的其余部分采用Xavier初始化；设置随训练代数呈阶梯下降的学习率，前50代冻结主干网络参数；

将步骤1)中完成预处理的训练集输入到完成初始化的轻量化YOLO v5网络模型中，利用主干网络部分进行特征提取与融合，利用分类和回归网络，得到人物目标的位置、类别和置信度，以及围墙的位置与置信度，将其与真实标签对比得到Loss值；根据Loss值采用SGD优化器，进行反向传播更新网络参数，直至Loss下降至预设，网络模型训练完成；

4)网络模型验证

对第一步的步骤2)中得到的验证集输入到步骤3)中完成训练的网络模型中，将网络模型输出的检测标签与真实标签对比，得到误识别率，当误识别率不大于10％时，保存网络模型当前参数，该网络模型为有效模型；当误识别率大于10％时，调整网络模型的初始参数，重新训练网络直至Loss下降至预设值，且验证集的误识别率不大于10％，保存网络模型当前参数，当前网络模型即为有效模型，网络模型验证完成；

第三步：利用轻量化YOLO v5网络模型与时空记忆机制模块进行行人位置检测

1)获取初步检测结果

将摄像头捕获到的视频流按帧输入到第二步中完成验证的轻量化YOLO v5网络模型中，得到视频的帧序列图像的检测结果，每一幅图像的检测结果包括人物目标的位置、类别和置信度，以及围墙的位置与置信度，该检测结果为初步检测结果；

2)获取修正的检测结果

将初步检测结果输入到时空记忆机制模块中，时空记忆机制原理如下：

其中P_n+1表示视频序列图像的第n+1帧图像中人物目标的置信度；Δx和Δy分别表示第n+1帧图像与第i帧图像中最临近人物目标的x轴和y轴的变化值，取值范围均为0～+∞；P_i表示网络模型输出的第i帧图像中的人物目标的置信度；表示向上取整；

上式中，f(x)表达式如下：

将时空记忆机制模块输出的预测下一帧图像中的人物目标的置信度替换掉对应帧的初步检测结果中的置信度，得到修正的检测结果；

3)行人位置检测

根据步骤2)中修正的检测结果中检测出的人物目标和围墙，当人物目标的轨迹与设定的围墙警戒线发生交叉或者低于某个阈值时，可判定为翻墙行为或者违规隔墙取物行为；以视频画面的左上角为坐标原点分别向右、向下设置x轴、y轴正方向，建立二维坐标系，围墙的位置由人工给定，围墙警戒线近似为一条直线；x_i,y_i表示检测到的人物目标在同一坐标系下的坐标；其原理如下：

f(x,y)＝Ax+By+C＝0

表示围墙警戒线的位置，若

则表明有翻墙嫌疑；若

|f(x_i,y_i)|＜t

则表明有隔墙取物嫌疑；其中x_i,y_i表示检测到第i帧图像中的人物目标的位置坐标，t表示设定的阈值，A、B、C为人工给定围墙位置时计算得到的常数参数。