[发明专利]目标数据增广方法、装置、电子设备和可读存储介质

说明书

本申请公开了一种目标数据增广方法、装置、电子设备、计算机可读存储介质。其中方法包括：从目标数据集中提取出若干个符合预设条件的目标数据，目标数据包括目标图像和与所述目标图像对应的目标点云；获取场景数据，场景数据包括场景图像和与所述场景图像对应的场景点云；根据场景数据中场景图像和/或场景点云的标注信息将目标数据融合到场景数据中，得到包含目标的增广数据。上述方案能够实现包括点云和图像数据的联动增广，保证图像和点云数据的一致性，且成本低，获得的增广数据能够很好地提升神经网络模型的预测性能。

技术领域

本申请涉及深度学习技术领域，具体涉及一种目标数据增广方法、装置、电子设备和可读存储介质。

背景技术

无人驾驶是一个复杂系统，涉及定位、感知、决策、控制等多种技术，其中感知模块用于识别并定位环境中的各种行人、车辆等障碍物。为了实现精确的3D障碍物检测，深度学习是目前的主流技术，它需要利用大量路面数据训练卷积神经网络模型，数据量的大小决定了模型性能，因此，怎样扩充增广数据量是使用深度学习技术必须面对的技术。

随着技术的迭代更新，无人驾驶设备上一般装载有摄像头和激光雷达，从而结合多个传感器的优点，实现更精准的障碍物检测效果。因此，深度学习网络是以图像和点云作为输入，数据增广需要在图像和点云上同步进行，从而为数据增广带来了不小的挑战。现有技术中的增广方案一般采用手动采集增广目标，需要消耗大量的人力和财力；且由于随机放置增广目标在背景图像上，可能将增广目标放置在了不合适的位置。

申请内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的目标数据增广方法、装置、电子设备和可读存储介质。

依据本申请的一个方面，提供了一种目标数据增广方法，所述方法包括：

从目标数据集中提取出若干个符合预设条件的目标数据，所述目标数据包括目标图像和与所述目标图像对应的目标点云；

获取场景数据，所述场景数据包括场景图像和与所述场景图像对应的场景点云；

根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含目标的增广数据。

可选的，所述目标数据集是通过如下方式获取的：

选取或采集具有对应关系的点云数据和图像数据；

根据所述点云数据的标注信息，判断所述点云数据中的每一点云点是否在目标的3D框中，从而获取该目标的所述目标点云；

根据所述图像数据的标注信息，获取所述目标图像的2D框，根据实例分割网络模型获取所述目标图像的实例分割。

可选的，所述点云数据的标注信息包括如下任一种或几种信息：目标位置、目标大小、朝向角、是否遮挡；所述图像数据的标注信息包括所述目标图像的2D框的位置；

所述根据实例分割网络模型获取所述目标图像的实例分割包括：

采用预训练的识别网络模型从所述图像数据中生成所述目标图像的前景实例分割。

可选的，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据包括：

根据所述场景点云中标注的地面信息，通过所述目标的俯视图位置确定所述目标距离地面的理论高度，并根据所述理论高度和当前高度的差值确定所述目标在高度上的偏移量；

根据所述偏移量对所述目标点云进行平移，使得所述目标点云在场景点云的地面上。

可选的，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据还包括：