[发明专利]一种基于关键点热图的车辆检测方法

说明书

本发明公开了一种基于关键点热图的车辆检测方法，其目的在于利用车辆的特有特征结合关键点热图预测，提出一种新型的车辆检测的方法，其技术关键在于（1）对车辆特有属性位置的关键点数据标注方法；（2）采用漏斗网络提取车辆的图像的特征；（3）采用改进的关键点池化获取关键点热图、嵌入向量和偏移向量组成的特征，利用定位的车牌或者车轮的特征来补充定位车辆的全局信息，同时剔除不正确的目标框，最终获取鲁棒性较好的目标定位框并预测车辆的方向。

技术领域

本发明属于图像处理领域，尤其涉及到一种基于关键点热图的车辆检测与车辆方向识别方法。

背景技术

随着深度学习与人工智能的快速发展，车辆检测相关技术在智能交通、智慧社区中逐渐得以应用与发展，帮助使用者获取路线车流量，节约时间，保障安全。车辆检测技术作为目标检测技术具体类别的细致应用，其具有独特的特征表示。目前最为流行的方法之一为设置锚框的检测方法，通过预先设置不同宽高比例的锚框预测候选框，以此获得较高检测的准确率。然而此类方法也具有一定的缺陷，在训练过程中会产生较多的锚框，这就会造成正负样本的失衡，减缓了训练的速度。其次锚框的设置会给网络引入较多的超参数，这些参数选择会影响检测器的优劣。另外一种较为流行的方法则是，不设置锚点改用预测车辆的关键点，以此获得目标的定位，此类方法相比于此前的方法获取的车辆的准确率有些差距。

发明内容

本发明的目的在于针对车辆的特有特征结合关键点热图预测，提出了一种基于关键点热图的车辆检测与车辆方向识别方法。其具体技术方案如下：

一种基于关键点热图的车辆检测与车辆方向识别方法，包括如下步骤：

步骤1：训练与测试数据准备：下载获取车辆公开数据集KITTI、UA-DETRAC,利用网络爬虫算法从互联网获取车辆图片，从道路监控视频数据使用开源的车辆检测算法提取车辆图像，共计获得样本M张；

步骤2：数据标注：对步骤1所述的M张车辆数据标注四个关键点，标注时根据车身在图片中显示的位置(前、后、左、右四个方向)，将车辆分为四个类别。前、后方向的两类车辆关键点分别为车辆包围框的左上角点、车辆包围框的右下角点、车牌左上角点、车牌右下角点。左、右方向的两类车辆关键点分别为车辆包围框的左上角点、车辆包围框的右下角点、前车轮中心点、后车轮中心点，数据标注存储为json文件；

步骤3：数据处理：将M张样本按照8:1:1划分为训练集、验证集、测试集；

步骤4：网络结构设计：主干网络采用两个漏斗网络级联进行关键点特征提取，两个hourglass网络在连接时通过一个1x1、3X3、1x1的卷积组合块同时进行跳连接，对两个漏斗网络级联输出的特征图采用改进的关键点池化层处理，输出由关键点热图、嵌入向量和偏移向量组成的特征。改进的角点池化由左池化与上池化并联操作，然后再经过一个左池化与上池化的串联操作构成。通过左池化和上池化得到目标的边界特征，然后将得到的边界特征融合，再经过一个左池化和上池化的串联处理获取目标的内部特征，目标的边界特征与内部特征进一步融合，这样就可以使得获取的角点特征具备较好的边界响应特征同时包含目标的全局信息；

步骤5：网络训练：输入图像的大小为S*S，使用的批量尺寸设定为n,迭代总次数设置为e,初始化学习率设置为lr,损失函数由类别损失函数、目标角点关联损失和关键点偏移损失来优化完整的损失函数。采用随机水平翻转、随机尺度缩放(比例在0.6到1.3之间)、随机裁剪与随机色彩抖动等方法进行数据增强；

总的损失函数公式:L＝L_det+αL_pull+βL_push+γL_offset (1)

其中α,β和γ分别为pull，push和offset的权重；