[发明专利]图像处理方法、装置及电子设备

说明书

本发明提供了一种图像处理方法、装置及电子设备，涉及自动驾驶技术领域。其中，方法包括：对三维点云图像中的第一3D框进行位姿变换，得到与第一3D框包含相同内容但是位置和/或尺寸不同的第二3D框，并基于第二3D框得到点云增强图像；然后根据第二3D框确定二维图像中相对应的第二2D框，最后基于二维图像中的第一2D框和第二2D框对第二2D框进行内容填充，得到二维增强图像。本发明实施例通过对点云图像中的第一3D框进行位姿变换得到第二3D框，使得得到的点云增强图像与原图像在距离和尺寸上具有差异，增强了生成的样本图像的多样性，同时保证了生成的图像对在尺寸和位置上的一致性。

技术领域

本发明涉及自动驾驶技术领域，尤其是涉及一种图像处理方法、装置及电子设备。

背景技术

为了确保自动驾驶车辆对周围环境的获取和识别，自动驾驶系统的感知模块需要通过各种传感器获取大量的环境信息，包括自车的状态、交通流信息、道路状况、交通标志等，这些传感器主要包括：激光雷达(Lidar)、摄像头(Camera)、毫米波雷达(MillimeterWave Radar)等。其中比较常见的是激光雷达和摄像头。激光雷达是一类使用激光束进行探测和测距的设备，由于扫描结果是反射点的集合，并且点的数量巨大，因此又被称为点云数据，点云数据构建的图也叫点云图像。摄像头得到的图像即为二维的RGB图像。

自动驾驶中的目标感知任务通常由神经网络模型完成，为了提高网络模型预测图像的精度，往往需要大量的训练数据来训练网络模型，而实际应用场景中，要获得包含同一个目标的大量训练数据并不容易，因此，需要通过已有的训练数据构建出更多的训练数据，得到足够的训练数据集来对网络模型进行训练。

现有的点云图像增强技术主要是在已有点云图像数据中增加不同的噪声点，然而单纯的增加噪声点的方法并没有考虑对于物体姿态，尺度，距离等方面的增强，导致生成的数据样本不够多样性。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置及电子设备，以提高样本图像的多样性。

第一方面，本发明实施例提供一种图像处理方法，该方法通过电子设备提供同一目标场景对应的图像对，图像对包括三维点云图像和二维图像，三维点云图像中包含至少一个第一3D框，二维图像中包含与第一3D框数量相同的第一2D框，且每对第一3D框与第一2D框包含相同的对象；该方法包括：对三维点云图像中的第一3D框进行位姿变换，得到包含第二3D框的点云增强图像；其中，第一3D框与第二3D框包含相同的对象，且第一3D框的位置和/或尺寸与第二3D框不同；根据第二3D框确定二维图像中与第二3D框对应的第二2D框；根据第一2D框和第二2D框，对第二2D框进行内容填充，得到与点云增强图像对应的二维增强图像。

进一步地，上述对三维点云图像中的第一3D框进行位姿变换，得到包含第二3D框的点云增强图像的步骤，包括：对第一3D框中的每个像素点进行深度变换，得到第三3D框；其中，第三3D框中包括所有经过深度变换后的第一3D框中的像素点；根据第三3D框与第一3D框中每个像素点的深度差，确定第二3D框，并根据第二3D框得到点云增强图像。

进一步地，上述根据第三3D框与第一3D框中每个像素点的深度差，确定第二3D框的步骤，包括：如果深度差大于零，对第三3D框进行缩小变换，得到第二3D框；如果深度差小于零，对第三3D框进行扩大变换，得到第二3D框。

进一步地，上述缩小变换为下采样变换，扩大变换为上采样变换。

进一步地，上述缩小变换为最远点采样操作；扩大变换为反距离权重平均插值法。

进一步地，上述根据第二3D框确定二维图像中与第二3D框对应的第二2D框的步骤，包括：将第二3D框投影到二维平面上，得到第二2D框。