[发明专利]适用于移动端的轻量级三维目标检测方法、装置及介质

说明书

本发明公开一种适用于移动端的轻量级三维目标检测方法、装置及介质，所述方法包括：获取或制作用于3D目标检测的数据集；搭建模型，所述模型包括MobileViT block、三个分支和全连接层，所述MobileViT block与三个分支连接，各分支连接所述全连接层；基于所述数据集对搭建的模型进行训练；对训练后的模型进行处理得到onnx模型；将图像数据进行预处理并转换，输入至所述onnx模型中得到模型输出；基于模型输出，计算3D目标的全局方位角和3D检测框的多个顶点坐标，并绘制3D检测框和鸟瞰图。本发明同时拥有CNN和ViT相类似的属性和优点，以此可以用更少的参数学到更好的特征表示，从而实现移动端3D目标检测的任务。

技术领域

本发明涉及图像处理、无人驾驶技术、深度学习、模式识别领域，更具体地，涉及一种适用于移动端的轻量级三维目标检测方法、装置及介质。

背景技术

在自动驾驶的技术中，3D目标检测能够提更加丰富的信息，如：目标的类别、位置和姿态。因此，与2D检测相比，3D目标检测的难度更大。目前很多的方法都是使用激光雷达进行3D目标检测，相比于使用昂贵的激光雷达等传感器，相机传感器成本低廉，且寿命长、易于安装，同时图像的检测技术相对更加成熟，有利于研究工作的快速进行。但是使用相机的单目3D目标检测的难点在于对深度信息的预测，而这也恰恰是激光雷达的优势所在。在单目的方案中，将实例从3D空间投影到2D图像平面就必然会损失图像的深度信息。因此，对于深度信息的处理一直是单目目标检测的重点研究内容。

单目图像可以为二维目标检测网络提供丰富的外观、形状等纹理信息，实现目标在图像平面的分类与定位。但针对三维目标检测任务，由于缺少深度信息，单一的纹理信息无法直接确定目标在三维空间中的位置、姿态等信息。因此，通常结合先验信息融合[董本志，于尚书，景维鹏.多先验融合的图像显著性目标检测算法[J].计算机工程与应用，2019，55(2)：179-186]、几何特征、三维模型匹配、单目视觉下的深度估计网络等方法回归目标的三维几何信息。

Chen等人[Chen X，Kundu K，Zhang Z，et al.Monocular 3D object detectionfor autonomous driving[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition，2016：2147-2156]在2016年提出了Mono3D目标检测方法，该方法将基于单目视觉的3D目标检测分为两步：

(1)根据先验假设进行密集采样，生成若干个3D目标候选框；

(2)对3D检测框进行重投影生成目标的2D检测框，利用Faster RCNN网络[胡越，罗东阳，花奎，等.关于深度学习的综述与讨论[J].智能系统学报，2019，14(1)：1-19.]提取特征，结合语义、上下文信息、位置先验信息以及目标形状先验信息等，计算检测框的能量损失函数，提取精确的3D目标检测框。Mono3D使用了与3DOP相同的网络结构，在卷积层之后将网络结构分为两个分支，一个分支进行候选框内的特征提取分析，另一个分支进行候选框周围的上下文特征提取分析，最后通过全连接层获取目标的类别、检测框以及航向信息。Mono3D[Chen X，Kundu K，Zhang Z，et al.Monocular 3D object detection forautonomous driving[C]//Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition，2016：2147-2156]利用复杂的先验信息提取3D检测框，在能量损失计算中存在误差累计的问题，因此，Mono3D在检测精度的性能上并不是十分突出。另外，候选框的密集采样和融合多个先验特征使得整个网络的计算量十分庞大，检测速度上与2D检测器相比存在一定差距，无法实现端到端的预测模型。