[发明专利]一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法

说明书

本发明提出了一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法。用基于鱼眼相机俯视拍摄的行人头部检测数据集训练深度卷积神经网络；对视频图像中的行人头部进行检测，为首次检测到的行人头部创建卡尔曼滤波跟踪器。计算行人头部边框中心点即检测点的坐标；用跟踪器预测该帧图像中的检测点，生成预测点。根据各个检测点和预测点得出距离矩阵；然后根据距离矩阵使用匈牙利算法将行人头部边框和跟踪器进行匹配。如果行人头部边框匹配到跟踪器，则修正对应的跟踪点并更新该跟踪器；否则，为该行人头部边框创建新的跟踪器。重复上述过程实现行人检测和跟踪。本发明能实现单个相机对整个室内空间的无死角监控，实现行人头部检测和稳定地进行行人跟踪。

技术领域

本发明主要涉及视频图像中的行人检测领域，具体而言，是一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法。

背景技术

近年来，随着信息产业的飞速发展和计算机性能的不断提高，利用计算机来检测视频图像中的行人信息已经是智能视频监控系统发展的主要任务。随着监控范围的不断扩大，普通摄像机已经不能满足使用需求，由于鱼眼相机的视角范围比较大，可以达到180°甚至超过180°，其监控范围远大于普通相机，因此使用鱼眼相机进行对象检测可以减少相机的数目，节约监控成本。然而鱼眼相机所拍摄图片中的对象存在较大的畸变，使得行人检测比较困难；另外为了实现大范围的监控，将鱼眼相机安装在监控区域的中心的顶部，俯视拍摄也增加了行人检测的难度。现有的行人检测方法大致可以分为三类：(1)基于背景建模的方法，(2)基于统计学的方法，(3)基于深度学习的方法。背景建模的方法容易受天气、光照等因素的影响，鲁棒性不好，抗干扰能力较差。基于机器学习的方法在行人检测任务中取得了比较好的效果，然而这类方法的鲁棒性不好，很容易受到光照强度和背景等因素的干扰。基于深度学的方法在普通相机行人检测中取得了比较好的效果，是研究的热点，然而鱼眼相机俯视拍摄的状态下行人的在不同位置的姿态差别很大，因此这些基于普通相机行人检测的方法不能直接适用于鱼眼相机俯视拍摄的情况。

目前关于行人检测和对象识别的研究比较多，但是大部分的研究都是基于普通相机水平拍摄或者倾斜拍摄的行人检测，基于鱼眼相机俯视拍摄的行人检测研究非常少。哈尔滨工程大学汪冲的硕士论文《运动目标检测与跟踪在鱼眼相机图像中的应用》中虽然涉及到基于鱼眼相机的对象检测与跟踪，但是所采用的是背景差分与高斯模型相结合的运动目标检测方法来进行目标检测，这种单纯靠运动检测的方法对象检测方法鲁棒性不高，抗干扰能力较差；另外他采用的是基于对象面积和质心等几何特性来进行对象的跟踪，当出现遮挡时，很容易出现跟踪失败的情况。到目前为止，还没出现效果良好的基于鱼眼相机俯视拍摄的行人检测与跟踪方法。

发明内容

为了解决以上技术问题，本发明针对鱼眼相机俯视拍摄场景，提出了一种识别准确度高，抗干扰能力强的行人检测与跟踪方法。该方法将深度神经网络和卡尔曼滤波相结合，实现了鱼眼视频中行人的实时检测与跟踪。

本发明的目的至少通过如下技术方案之一实现。

一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，包括以下步骤：

S1、制作基于鱼眼相机俯视拍摄的行人头部检测数据集，并用该数据集训练用于行人头部检测的深度卷积神经网络，使用训练好的行人头部检测深度神经网络对视频中的行人头部进行检测，然后分别为每个首次检测到的行人头部创建一个卡尔曼滤波跟踪器；

S2、根据训练好的行人头部检测深度神经网络检测到的行人头部边框的中心点和卡尔曼滤波跟踪器预测的跟踪点计算距离矩阵；

S3、根据距离矩阵，使用匈牙利算法将检测到的行人头部边框和各个卡尔曼滤波跟踪器进行匹配；

S4、如果检测到的行人头部边框匹配到了卡尔曼滤波跟踪器，则根据该边框中心点对该卡尔曼滤波跟踪器预测的跟踪点进行修正，如果没有匹配到卡尔曼滤波跟踪器，则直接为其创建一个新的卡尔曼滤波跟踪器；