[发明专利]一种多传感器信息融合的闸机防尾随方法、装置、设备和介质

权利要求书

1.一种多传感器信息融合的闸机防尾随方法，其特征在于：包括：

步骤1、至少采用两种传感器分别获取同一时刻的图像，将获取的图像分别进行校正和对齐；

步骤2、将步骤1处理后的图像进行图像归一化处理；

步骤3、将归一化的图像传入预训练的神经网络模型，得到图像中人头的位置坐标；

步骤4、若人头数量大于1，则判断为尾随；若人头数量小于或等于1，则判断为非尾随。

2.根据权利要求1所述的一种多传感器信息融合的闸机防尾随方法，其特征在于：所述步骤3和步骤4之间还包括步骤a、根据图像中人头的位置坐标，使用多目标跟踪算法对当前图像人头进行跟踪，为每个人头分配id号；得到跟踪id号后，统计闸机通行区域内存在的人数。

3.根据权利要求1所述的一种多传感器信息融合的闸机防尾随方法，其特征在于：所述传感器包括深度传感器、热成像传感器以及RGB摄像头；采用其中两种或者三种进行图像采集。

若使用深度传感器，则获得检测范围内的深度图；所述深度传感器为结构光相机、双目相机或TOF相机；

若使用热成像传感器，则获得检测范围内的热成像数据，将其转换为单通道灰度图像；

若使用可见光摄像头，则获得三通道彩色图像。

4.根据权利要求1所述的一种多传感器信息融合的闸机防尾随方法，其特征在于：所述预训练的神经网络模型为：神经网络包括输入层、隐含层和输出层，其中，隐含层可以有n层，n为大于或等于1的正整数；隐含层中的某几层为特征提取子网络，可并列存在多个特征提取子网络，特征提取子网络之后的激活值为提取的特征；

首先将至少两张图像分别传入对应的特征提取子网络进行特征提取，得到至少两组特征，将所有的特征进行特征融合，将融合后的特征传入目标定位子网络，经隐含层和输出层处理后得到图像中人头的位置坐标和置信度；根据预设的阈值与置信度进行比较，判断位置坐标是否保留。

5.一种多传感器信息融合的闸机防尾随装置，其特征在于：包括：

校正对齐单元，至少采用两种传感器分别获取同一时刻的图像，将获取的图像分别进行校正和对齐；

归一化处理单元，将校正对齐单元处理后的图像进行图像归一化处理；

坐标单元，将归一化的图像传入预训练的神经网络模型，得到图像中人头的位置坐标；

判断尾随单元，若人头数量大于1，则判断为尾随；若人头数量等于1，则判断为非尾随。

6.根据权利要求5所述的一种多传感器信息融合的闸机防尾随装置，其特征在于：所述坐标单元和判断尾随单元之间还包括id分配单元、根据图像中人头的位置坐标，使用多目标跟踪算法对当前图像人头进行跟踪，为每个人头分配id号；得到跟踪id号后，统计闸机通行区域内存在的人数，若人数大于1，则判定为尾随，若人数小于或等于1，则判定为非尾随。

7.根据权利要求5所述的一种多传感器信息融合的闸机防尾随装置，其特征在于：所述传感器包括深度传感器、热成像传感器以及RGB摄像头；采用其中两种或者三种进行图像采集。

若使用深度传感器，则获得检测范围内的深度图；所述深度传感器为结构光相机、双目相机或TOF相机；

若使用热成像传感器，则获得检测范围内的热成像数据，将其转换为单通道灰度图像；

若使用可见光摄像头，则获得三通道彩色图像。

8.根据权利要求5所述的一种多传感器信息融合的闸机防尾随装置，其特征在于：所述预训练的神经网络模型为：神经网络包括输入层、隐含层和输出层，其中，隐含层可以有n层，n为大于或等于1的正整数；隐含层中的某几层为特征提取子网络，可并列存在多个特征提取子网络，特征提取子网络之后的激活值为提取的特征；

首先将至少两张图像分别传入对应的特征提取子网络进行特征提取，得到至少两组特征，将所有的特征进行特征融合，将融合后的特征传入目标定位子网络，经隐含层和输出层处理后得到图像中人头的位置坐标和置信度；根据预设的阈值与置信度进行比较，判断位置坐标是否保留。