[发明专利]单目视觉下的三维目标检测模型的构建方法及检测方法

说明书

本发明公开了一种单目视觉下的三维目标检测模型的构建方法及检测方法，所述方法包括：获取带标注的训练图像集；将训练图像集作为训练数据，训练获得基于CenterNet网络的三维目标检测模型，其中，三维目标检测模型的特征提取网络包括多个特征提取模块，至少一个特征提取模块包括池化模块、注意模块以及第一融合模块，池化模块包括并列的全局最大池化层、全局平均池化层和随机池化层，注意模块包括分别与全局最大池化层、全局平均池化层和随机池化层的输出侧连接的三个子注意模块，子注意模块包括激活函数层及批处理归一化层，第一融合模块将三个子注意模块的输出融合。本发明可以简化三维目标检测网络结构，降低三维目标检测模型的训练成本。

技术领域

本发明涉及深度学习和图像处理技术领域，具体涉及一种单目视觉下的三维目标检测模型的构建方法及检测方法。

背景技术

随着城市化进程的快速发展，城市人口越来越多，城市交通需求量随之增长，城市道路中的各种车辆急剧增加。为了更好地管理城市交通车辆，大场景视频监控系统变得必不可少。智能视频监控系统需要准确地从监控视频中完成行人、车辆等三维目标的检测，从而有效分析道路各种车辆行人运行情况。

现有单目图像的目标检测技术中，常用的策略大多数基于多阶段目标检测方法。首先训练2D目标检测器，根据标注数据中的标注文件裁剪原始图像获得目标图像，缩放后输入3D目标检测器，预测目标的3D尺寸信息、偏转角度信息和置信度，训练3D目标检测器；通过训练完成的2D目标检测器检和3D目标检测器，预测2D框内目标的3D尺寸信息和偏转角度信息。该方法通过深度学习和几何学的方法，利用单目RGB图像训练3D目标检测器，能够检测给定类别目标的3D信息和偏转角度，进而依赖几何学原理，构建物体的3D框。这种多阶段目标检测方法基于学习到的大量2D建议，附加了一个额外的网络分支来学习3D信息或生成伪点云并将其输入点云检测网络，然而，这种多阶段目标检测策略导致了目标检测中网络结构复杂以及成本较大的问题。

发明内容

本发明解决的问题是现有的三维目标检测方法采用多阶段目标检测策略后导致网络结构复杂和成本较大。

本发明提出一种单目视觉下的三维目标检测模型的构建方法，包括：

获取带标注的训练图像集；

将所述训练图像集作为训练数据，训练获得基于CenterNet网络的三维目标检测模型，其中，所述三维目标检测模型的特征提取网络包括多个特征提取模块，至少一个所述特征提取模块包括池化模块、注意模块以及第一融合模块，所述池化模块包括并列的全局最大池化层、全局平均池化层和随机池化层，所述注意模块包括分别与所述全局最大池化层、所述全局平均池化层和所述随机池化层的输出侧连接的三个子注意模块，所述子注意模块包括激活函数层及批处理归一化层，所述第一融合模块将三个所述子注意模块的输出融合。

可选地，所述特征提取网络还包括多个连续的反卷积模块，多个所述反卷积模块设置在所述特征提取模块的输出侧。

可选地，所述三维目标检测模型还包括设置在所述反卷积模块的输出侧的采样输出模块，所述采样输出模块包括热力图输出分支、目标三维中心输出分支、三维尺寸输出分支和方位角输出分支。

可选地，所述三维目标检测模型还包括设置在所述采样输出模块的输出侧的参数回归模块，所述参数回归模块用于合并所述采样输出模块包括的四个输出分支。

可选地，所述三维目标检测模型的特征提取网络为残差网络，所述特征提取模块还包括设置于所述第一融合模块输出侧的激活函数模块和第二融合模块，所述第一融合模块输出的特征经所述激活函数模块处理后，与输入所述特征提取模块的初始特征在所述第二融合模块融合，融合获得的特征图作为所述特征提取模块的输出特征图。

可选地，所述三维目标检测模型采用尺度不变IOU损失函数进行训练，损失函数表达式如下：

，

，