[发明专利]一种基于votenet模型的三维目标检测方法和系统

权利要求书

1.一种基于votenet模型的三维目标检测方法，包括如下步骤：

步骤一：构建votenet模型；

步骤二：针对感兴趣目标构建用于训练votenet模型的点云数据集；

步骤三：构建用于训练votenet模型的基于双层嵌套三维矩形框空间划分的种子点位移损失函数；

步骤四：基于votenet模型原方法构建用于训练votenet模型的其他损失函数，包括前景背景分类损失函数、中心偏移量损失函数、尺寸偏移量损失函数以及朝向角偏移量损失函数；

步骤五：基于构建的点云数据集和损失函数训练votenet模型；

步骤六：使用RGB-D相机获取待检测场景的点云数据；

步骤七：基于待检测场景的点云数据，经过votenet模型，输出感兴趣目标的三维目标检测结果。

2.如权利要求1所述的一种基于votenet模型的三维目标检测方法，其特征在于：步骤一中，按照votenet论文中描述的构建方式构建votenet模型。

3.如权利要求1所述的一种基于votenet模型的三维目标检测方法，其特征在于：步骤二中，所述的点云数据集指的是多个包含感兴趣目标的点云数据样本及样本中每个感兴趣目标的三维矩形包围框的标注信息。

4.如权利要求3所述的一种基于votenet模型的三维目标检测方法，其特征在于：点云数据可以来自于多种传感器。

5.如权利要求1所述的一种基于votenet模型的三维目标检测方法，其特征在于：所述步骤三中，对于每个训练样本，种子点位移损失函数通过以下子步骤来实现：

(3.1)将该训练样本的点云数据输入votenet模型，得到votenet模型提取的种子点坐标以及votenet模型预测的每个种子点的坐标偏移量；

(3.2)设该训练样本总共包含n_t个目标，对于第i∈[1，n_t]个目标，设该目标的真实三维矩形包围框Box_i＝(x_i，y_i，z_i，l_i，w_i，h_i，θ_i)，其中x_i，y_i，z_i为该包围框的中心点坐标，l_i，w_i，h_i为该包围框的长度、宽度和高度，θ_i为该包围框的朝向角，对于每个目标的真实三维矩形包围框Box_i，生成一个与该包围框中心点坐标相同，朝向角相同，但长宽高分别扩大k倍的三维矩形框

(3.3)设种子点的总个数为n_s，遍历全体种子点，对于第j∈[1，n_s]个种子点P_j，设种子点P_j在三维空间中的坐标为(x_j，y_j，z_j)，针对种子点P_j遍历全体目标的真实三维矩形包围框Box_i，i∈[1，n_t]，当种子点P_j的坐标(x_j，y_j，z_j)处于某个真实三维矩形包围框Box_i的内部或者外表面上时，为该种子点生成一个对应的目标点T_j，该目标点T_j的坐标值等于真实三维矩形包围框Box_i的中心点坐标值(x_i，y_i，z_i)，如果种子点P_j的坐标(x_j，y_j，z_j)处于多个真实三维矩形包围框的内部或者外表面，则目标点T_j的坐标值等于上述真实三维矩形包围框的中心点中距离种子点P_j最近的那个三维矩形包围框中心点坐标；

(3.4)设没有对应目标点的种子点个数为n′_s，遍历全体没有对应目标点的种子点，对于第j∈[1，n′_s]个种子点P_j，针对种子点P_j遍历全体膨胀后的三维矩形包围框当种子点P_j的坐标(x_j，y_j，z_j)处于某个膨胀后的三维矩形包围框/的内部或者外表面上时，为该种子点生成一个对应的目标点V_j，该目标点V_j的坐标值等于种子点P_j的坐标值(x_j，y_j，z_j)；

(3.5)遍历全体种子点，对于第j∈[1，n_s]个种子点P_j，设votenet模型为该种子点预测的坐标偏移量为(Δx_j，Δy_j，Δz_j)，如果种子点P_j存在对应的目标点T_j或者目标点V_j，则为种子点P_j生成一个对应的预测点Q_j，预测点Q_j的坐标值为(x_j+Δx_j，y_j+Δy_j，z_j+Δz_j)；

(3.6)计算种子点位移损失L_vote-reg，设PT_k表示存在目标点T_k的种子点P_k，PT_k的总个数为n_T，PV_m表示存在目标点V_m的种子点P_m，PV_m的总个数为n_V，D(A，B)表示A点和B点在三维空间中的距离，α为平衡因子，则种子点位移损失的具体计算方式为：