[发明专利]垃圾确定系统、模型训练的方法、确定的方法、装置

说明书

本发明实施例公开了一种垃圾确定系统、模型训练的方法、确定的方法、装置。该方法包括：从图像传感器获取图像数据和从雷达传感器获取点云数据；分别提取图像数据和点云数据中的特征数据，生成第一图像特征图和第一点云特征图；将第一图像特征图和第一点云特征图中尺寸相同物体框，进行元素融合，生成第一待测框；根据第一待测框与待确定物体预设的真实框确定垃圾确定模型。本发明实施例通过从图像传感器获取图像数据和从雷达传感器获取深度数据，来确定待确定物体的属性和位置，提高了数据感知能力，优化了实现逻辑。

技术领域

本发明涉及图像处理领域，尤其涉及一种垃圾确定系统、模型训练的方法、确定的方法、装置、设备及存储介质。

背景技术

在现有的垃圾确定方法中，往往采用双目电荷耦合器件(Charge CoupledDevice，CCD)相机进行目标图像的采集，再经视频解码器进行解码，并传递给数字信号处理器(Digital Signal Processor，DSP)将模拟信号转换为数字信号和对图像的初步处理并通过图像数据存储器来进行储存，然后再传送给中央处理器进行数字图像再处理与双目立体视觉识别和定位，计算出目标的具体三维尺寸和位置信息。

在现有的技术方案中，因为DSP计算能力比较有限，CCD双目相机还存在视觉精度低、视野局限、深度数据不准确的缺点，所以现有的垃圾确定的技术方案中存在感知数据能力弱、逻辑实现差的问题。

发明内容

本发明实施例提供一种垃圾确定系统、模型训练的方法、确定的方法、装置、设备及存储介质，解决了现有的垃圾确定的技术方案中存在的感知数据能力弱、逻辑实现差的问题，提高了数据感知能力，优化了实现逻辑。

第一方面，提供了一种垃圾确定系统，该系统包括：

图像传感器，用于采集待确定物体的图像数据；

雷达传感器，用于采集待确定物体的点云数据；

现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)，用于对采集的待确定物体的图像数据和点云数据进行预处理；

图形处理器(Graphics Processing Unit，GPU)，用于对预处理后的待确定物体的图像数据和点云数据进行特征提取、并进行垃圾确定模型的训练，根据训练后的垃圾确定模型确定待确定物体的属性和待确定物体的边界框；

通讯模块，用于垃圾确定系统与外界进行通讯；

中央处理器(central processing unit，CPU)，用于连接(5th generationmobile networks，5G)模块、图形处理器GPU、以及现场可编程逻辑门阵列FPGA，并向图形处理器GPU及5G模块发送指令。

第二方面，提供了一种垃圾确定模型训练的方法，该方法包括：

从图像传感器获取图像数据和从雷达传感器获取点云数据；

分别提取图像数据和点云数据中的特征数据，并对应生成第一图像特征图和第一点云特征图；

分别根据第一图像特征图中的物体框和第一点云特征图中的物体框，生成尺寸相同的第一图像特征图中的物体框和第一点云特征图中的物体框；

将尺寸相同的第一图像特征图中的物体框和第一点云特征图中的物体框进行元素融合，生成第一待测框，其中，第一待测框包括待确定物体的三维边界框；

确定第一待测框与待确定物体预设的真实框的坐标差值，并根据坐标差值调整垃圾确定模型的初始参数；

当坐标差值满足第一预设条件时，保存调整参数后的垃圾确定模型。

第三方面，提供了一种垃圾确定的方法，该方法包括：