[发明专利]垃圾确定系统、模型训练的方法、确定的方法、装置

权利要求书

1.一种垃圾确定系统，其特征在于，所述系统包括：

图像传感器，用于采集待确定物体的图像数据；

雷达传感器，用于采集待确定物体的点云数据；

现场可编程逻辑门阵列FPGA，用于对采集的待确定物体的图像数据和点云数据进行预处理；

图形处理器GPU，用于对预处理后的待确定物体的图像数据和点云数据进行特征提取、并进行垃圾确定模型的训练，根据训练后的垃圾确定模型确定待确定物体的属性和待确定物体的边界框；

通讯模块，用于所述垃圾确定系统与外界进行通讯；

中央处理器CPU，用于连接所述通讯模块模块、所述图形处理器GPU、以及所述现场可编程逻辑门阵列FPGA，并向所述图形处理器GPU及所述通讯模块发送指令。

2.一种垃圾确定模型训练的方法，其特征在于，所述方法包括：

从图像传感器获取图像数据和从雷达传感器获取点云数据；

分别提取所述图像数据和所述点云数据中的特征数据，并对应生成第一图像特征图和第一点云特征图；

分别根据所述第一图像特征图中的物体框和所述第一点云特征图中的物体框，生成尺寸相同的第一图像特征图中的物体框和第一点云特征图中的物体框；

将所述尺寸相同的第一图像特征图中的物体框和第一点云特征图中的物体框进行元素融合，生成第一待测框，其中，所述第一待测框包括待确定物体的三维边界框；

确定所述第一待测框与待确定物体预设的真实框的坐标差值，并根据所述坐标差值调整垃圾确定模型的初始参数；

当所述坐标差值满足第一预设条件时，保存调整参数后的垃圾确定模型。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述第一图像特征图和所述第一点云特征图分别进行卷积运算，对应生成预处理后的图像特征图和预处理后的点云特征图；

分别根据预处理后的图像特征图和预处理后的点云特征图，生成第一图像特征图中待确定物体的边界框和第一点云特征图中待确定物体的边界框；

根据所述第一图像特征图中待确定物体的边界框确定所述第一图像特征图中的物体框；

根据所述第一点云特征图中待确定物体的边界框确定所述第一点云特征图中的物体框。

4.根据权利要求3所述的方法，其特征在于，

当所述第一图像特征图中待确定物体的边界框的检测评价函数IOU大于第一预设阈值时，确定所述第一图像特征图中待确定物体的边界框为所述第一图像特征图中的物体框；

当所述第一点云特征图中待确定物体的边界框的检测评价函数IOU大于第一预设阈值时，确定所述第一点云特征图中待确定物体的边界框为所述第一点云特征图中的物体框。

5.根据权利要求2所述的方法，其特征在于，所述当所述坐标差值满足预设条件时，保存调整参数后的垃圾确定模型，包括：

根据所述待确定物体的边界框的检测评价函数IOU，确定第一待测框；

根据所述第一待测框，分别从所述第一图像特征图和所述第一点云特征图中，对应获取第二图像特征图和第二点云特征图；

对所述第二图像特征图和所述第二点云特征图进行叠加，生成第二待测框；

确定所述第二待测框与所述待确定物体预设的真实框的坐标差值；

当所述坐标差值满足第二预设条件时，保存调整参数后的垃圾确定模型。

6.一种垃圾确定的方法，其特征在于，所述方法包括：

从图像传感器获取图像数据和从雷达传感器获取点云数据；

将所述图像数据和所述点云数据输入调整参数后的垃圾确定模型中，输出待确定物体的属性和待确定物体的三维边界框，其中，所述调整参数后的垃圾确定模型通过权利要求1-5中任意一种垃圾确定模型训练的方法得到。