[发明专利]一种基于车辆关键点轨迹的倒车判断方法、系统及介质

说明书

本发明公开了一种基于车辆关键点轨迹的倒车判断方法、系统及介质，其中方法包括以下步骤：对连续视频帧进行检测，输出目标车辆检测框；将目标车辆图片输入到车辆关键点提取模型，输出粗特征图、细特征图和车辆方位特征向量；根据车辆方位特征向量判断目标车辆的方位朝向，筛选出可视车辆关键点细特征图，进而获取可视车辆关键点图像坐标；根据可视车辆关键点图像坐标在连续视频帧的移动轨迹及相应判断规则，判断车辆是否倒车。本发明通过获取关键点粗特征图、关键点细特征图和车辆方位特征向量来对倒车进行判断，提高不定角度摄像头拍摄连续视频帧中目标车辆关键点移动轨迹精度，提高判断车辆是否倒车的准确率，可广泛应用于深度学习技术领域。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于车辆关键点轨迹的倒车判断方法、系统及介质。

背景技术

基于车辆关键点轨迹倒车判断是指，对连续视频帧目标车辆关键点及其朝向进行检测，从而获得目标车辆关键点轨迹，进而判断目标车辆在连续视频帧内是否倒车。

车辆由于车头和车尾极度相似，很难从不定角度的摄像头拍摄的连续帧判断目标车辆是否倒车，如果能够判断目标车辆朝向及其可视关键点，那么就能根据可视关键点的移动轨迹判断目标车辆是否倒车。此方法可应用于智能交通、碰撞预警、无人停车场等领域。

倒车判断任务中的判别式方法试图通过使用单个倒车分类器器来区分多种方位朝向的目标车是否倒车。例如，Wei等人提出倒车卷积网络模型(Backed CarConvolutional Neural Network，BC-CNN)来判断当前目标车辆是否倒车，Xu等人利用长短期记忆模型(Long Short-Term Memory，LSTM)来提取时序视频帧内目标车辆时序特征，进而判断当前车辆是否倒车，Liu等人采用卷积神经网络(Convolutional Neural Networks,CNN)判断车辆朝向方位，结合光流法判断当前车辆是否倒车。然而，这些判别方法对摄像头拍摄角度非常敏感，对目标车辆朝向不具鲁棒性，很难根据从不定角度的摄像头拍摄的连续帧中判断目标车辆是否倒车。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于：一种基于车辆关键点轨迹的倒车判断方法、系统及介质。

本发明所采用的技术方案是：

一种基于车辆关键点轨迹的倒车判断方法，包括以下步骤：

获取包含目标车辆的连续视频帧；

将所述连续视频帧输入到YOLO目标检测模型，输出目标车辆检测框；

将所述车辆检测框内目标车辆图片输入到车辆关键点提取模型，输出车辆关键点粗特征图、车辆关键点细特征图和车辆方位特征向量；

根据目标车辆方位特征向量判断目标车辆的方位朝向，并筛选出n个可视车辆关键点细特征图，进而获取n个可视车辆关键点图像坐标；

根据所述n个可视车辆关键点图像坐标在连续视频帧的移动轨迹及相应判断规则，判断车辆是否倒车；

其中，n为正整数。

进一步，所述车辆关键点提取模型包括关键点提取网络和车辆方位判断网络，所述关键点提取网络包括关键点粗提取网络和关键点细提取网络，所述车辆关键点提取模型由关键点粗提取网络、关键点细提取网络、车辆方位判断网络根据相关损失函数进行交替更新后获得。

进一步，所述基于车辆关键点轨迹的倒车判断方法还包括建立所述车辆关键点提取模型的训练步骤，所述车辆关键点提取模型的训练步骤包括对所述关键点粗提取网络、所述关键点细提取网络、所述车辆方位判断网络进行训练的步骤，所述对所述关键点粗提取网络、所述关键点细提取网络、所述车辆方位判断网络进行训练这一步骤，包括以下步骤：