[发明专利]一种多摄像头融合的人群密度预测方法、装置、存储介质及终端

权利要求书

1.一种多摄像头融合的人群密度预测方法，其特征在于，所述方法包括：

利用多个摄像头实时采集场景图像；

将所述场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；

基于所述检测物体信息生成多个摄像头的透视转换矩阵；其中，所述检测物体信息包括类别以及位置坐标；

所述基于所述检测物体信息生成多个摄像头的透视转换矩阵，包括：

根据面积最大化从所述场景图像中多个检测物体的位置坐标中获取多个不共线组合点，生成透视转换的目标点；

根据所述类别以及位置坐标从预设实际空间坐标集合中匹配所述透视转换的目标点对应的实际空间坐标，生成多组透视转换点对；

基于所述多组透视转换点对计算后生成多个摄像头的透视转换矩阵；

基于所述行人目标检测结果进行修正，生成行人目标全身框图坐标；

调用所述多个摄像头的透视转换矩阵对所述行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；

将所述多个透视转换结果进行融合，并将各重叠区域行人去重后生成平面图；

根据所述平面图中的坐标，生成所述平面图对应的人群密度热力图。

2.根据权利要求1所述的方法，其特征在于，所述生成所述平面图对应的人群密度热力图之后，还包括：

将所述人群密度热力图发送至客户端进行展示。

3.根据权利要求1所述的方法，其特征在于，所述利用多个摄像头实时采集场景图像之前，还包括：

采用yolo技术创建行人目标检测模型以及透视目标检测模型；

将预先转换的第一训练样本输入所述行人目标检测模型中进行训练，生成训练后的行人目标检测模型，并将所述训练后的行人目标检测模型确定为预先训练的行人目标检测模型；

将预先转换的第二训练样本输入所述透视目标检测模型进行训练，生成训练后的透视目标检测模型，并将所述训练后的透视目标检测模型确定为预先训练的透视目标检测模型。

4.根据权利要求3所述的方法，其特征在于，所述预先转换的第一训练样本和第二训练样本，包括：

从图像库中获取多个连续时刻的视频图像帧；

抓取所述视频图像帧中的目标行人进行打标，生成第一训练样本数据；

抓取所述视频图像帧中固定物体进行打标，生成第二训练样本数据；

将所述第一训练样本数据和第二样本训练数据转换成yolo格式，生成转换后的第一训练样本数据以及转换后的第二训练样本数据；

将所述转换后的第一训练样本数据以及转换后的第二训练样本数据确定为预先转换的第一训练样本和第二训练样本。

5.根据权利要求4所述的方法，其特征在于，所述图像库，包括：

采集应用场景下的视频流数据；

将所述视频流数据转换成图像数据；

将所述图像数据保存至历史图像库。

6.根据权利要求1所述的方法，其特征在于，在所述利用多个摄像头实时采集场景图像之前，还包括：

针对应用场景下的多个摄像头进行标定，并检测每个摄像头的畸变程度；

当所述多个摄像头中存在畸变摄像头时，对所述畸变摄像头进行校正；

校正结束后获得多个预处理后的摄像头。