[发明专利]目标检测方法和模型训练方法、装置、电子设备和介质

权利要求书

1.一种目标检测方法，包括：

使用目标检测模型来根据输入图像确定输入图像中的对象在3维3D空间中的3D包围框的尺寸、所述对象在3D空间中的朝向以及所述对象的高斯热力图；

根据所述对象的高斯热力图计算所述3D包围框在所述3D空间中的位置；以及

基于所述3D包围框在所述3D空间中的位置、所述3D包围框的尺寸以及所述对象的朝向，生成包围所述对象的3D包围框，包括：将所述高斯热力图中热力值最大的点作为底面中心点；确定所述底面中心点在所述输入图像中的二维坐标；根据输入图像的图像采集设备的内参、底面中心点相对于图像采集设备的深度和所述二维坐标、确定所述底面中心点在所述3D空间中的3D坐标；以及根据所述底面中心点的3D坐标、所述3D包围框的尺寸以及所述对象的朝向，生成包围所述对象的3D包围框；

其中，根据在所述输入图像提取的第一图像块的尺寸、在所述输入图像提取的第二图像块的尺寸、所述3D包围框的底面中心点在所述输入图像中的投影坐标以及第二图像块的中心点坐标，确定所述底面中心点在所述输入图像中的二维坐标。

2.根据权利要求1所述的方法，其中，所述目标检测模型是利用以下操作训练的：

获取样本数据，所述样本数据包括样本图像、所述样本图像中的对象在3D空间中的3D标定信息以及所述对象的高斯热力图；

使用所述目标检测模型，根据所述样本图像产生所述对象在3D空间中的3D标定信息以及所述对象的高斯热力图；以及

根据所产生的3D标定信息与所述样本数据中的3D标定信息之间的差异、以及所产生的高斯热力图与所述样本数据中的高斯热力图之间的差异，调整所述目标检测模型的参数。

3.根据权利要求2所述的方法，其中，所述目标检测模型包括特征提取网络、预测全连接模块以及高斯热力图学习模块，所述样本数据中的3D标定信息包括3D包围框的尺寸和所述对象的朝向，所述使用所述目标检测模型，根据所述样本图像产生所述对象在3D空间中的3D标定信息以及所述对象的高斯热力图包括：

利用所述特征提取网络对所述样本图像进行特征提取，得到样本图像的特征图；

利用所述预测全连接模块对得到的特征图施加全连接层，得到3D包围框的尺寸和所述对象的朝向；

利用所述高斯热力图学习模块来基于所述样本图像的特征图产生所述对象的高斯热力图。

4.根据权利要求3所述的方法，其中，所述特征提取网络包括第一子网络和第二子网络，所述利用所述特征提取网络对所述样本图像进行特征提取包括：

利用第一子网络对所述样本图像进行第一特征提取并对所述样本图像中的对象进行分类，得到第一特征图、所述样本图像中包围所述对象的2D包围框和对象的类别信息；

利用第二子网络对所述第一特征图进行第二特征提取，得到第二特征图作为所述样本图像的特征图。

5. 根据权利要求3所述的方法，其中，所述样本数据还包括所述3D空间中3D包围框的位置，所述获取样本数据包括：

获取所述样本图像和所述3D包围框的位置；以及

根据所获取的样本图像和所述3D包围框的位置，生成所述对象的高斯热力图。

6.根据权利要求5所述的方法，其中，所述根据所获取的样本图像和所述3D包围框的位置，生成所述对象的高斯热力图包括：

将所述3D包围框的位置投影到所述样本图像中，得到所述3D包围框在所述样本图像中的投影点；

获取所述样本图像中包围所述对象的2D包围框的位置，并以所述2D包围框的位置为中心从所述样本图像中提取第一尺寸的图像块；

根据所述样本图像中的所述投影点的位置以及所述2D包围框的位置，将所述第一尺寸的图像块转换成第二尺寸的图像块；以及

在所述第二尺寸的图像块中，以所述投影点在所述第二尺寸的图像块中的位置为中心计算所述对象的热力分布，得到所述对象的高斯热力图。

7.根据权利要求6中所述的方法，其中，所述样本图像中2D包围框的位置是预先标定的，或者是根据所述样本数据计算得到的。