[发明专利]图像处理的方法及装置

说明书

本申请实施例提供一种图像处理的方法及装置，涉及自动驾驶技术领域，具体包括：可以根据行驶环境中的、标注有车辆目标部件的第一二维图像，以及目标部件的三维模型，目标部件在车辆中的使用规则，构建目标部件在第一状态时的第二二维图像和语义信息的关联关系。即本申请实施例中，不需要人工采集和标注大量的图像，而是结合目标部件的三维模型，和行驶环境中的车辆二维图像，就可以基于图像处理，得到目标部件在第一状态时的第二二维图像和语义信息的关联关系，效率和灵活性都有较大提高。

技术领域

本申请涉及图像处理的自动驾驶技术领域，尤其涉及一种图像处理的方法及装置。

背景技术

在自动驾驶领域中，环境感知是比较重要的部分。例如，在路径规划时，需要感知周围车辆的状态进行适应的路径规划。周围车辆的状态例如可以包括：转弯、长时间停车、短时间停车等。

现有技术中，为了识别周围车辆的状态，通常需要采集大量的车辆状态图像，并进行样本标注等，得到用于识别车辆状态的图像模板。

但是，采集图像以及进行人工标注的成本高、效率低，且不够灵活。

发明内容

本申请实施例提供一种图像处理的方法及装置，以解决现有技术中采集图像以及进行人工标注的成本高、效率低的技术问题。

本申请实施例第一方面提供一种图像处理的方法，包括：

获取车辆在行驶环境中的第一二维图像；所述第一二维图像中标注有所述车辆的目标部件；

获取所述目标部件的三维模型，以及所述目标部件在第一状态下所述车辆的语义信息；

利用所述第一二维图像、所述目标部件的三维模型、以及所述目标部件在所述车辆中的使用规则，生成所述目标部件处于所述第一状态时所述车辆对应的第二二维图像；

建立所述第二二维图像与所述语义信息的关联关系。

本申请实施例中，不需要人工采集和标注大量的图像，而是结合目标部件的三维模型，和行驶环境中的车辆二维图像，就可以基于图像处理，得到目标部件在第一状态时的第二二维图像和语义信息的关联关系，效率和灵活性都有较大提高。

可选的，所述目标部件为运动部件；

所述利用所述第一二维图像、所述目标部件的三维模型、以及所述目标部件在所述车辆中的使用规则，生成所述目标部件处于所述第一状态时所述车辆对应的第二二维图像，包括：

利用所述目标部件的三维模型渲染得到所述目标部件的深度图；

利用所述目标部件的深度图和所述第一二维图像恢复所述目标部件的三维点云数据；

利用所述三维点云数据和所述运动部件在车辆使用中的运动规则，平移或旋转所述目标部件，生成所述目标部件处于所述第一状态时所述车辆对应的目标三维图像；

利用所述目标三维图像映射得到所述第二二维图像。

可选的，所述运动部件包括：车门、引擎盖和后备箱。

可选的，若所述第二二维图像中存在所述第一二维图像中不可见的目标区域，所述方法还包括：

获取所述第一二维图像的环境贴图；

利用所述环境贴图对所述目标区域进行渲染，以及将渲染后的目标区域与所述第二二维图像融合。

可选的，所述目标部件为亮灯部件；

所述利用所述第一二维图像、所述目标部件的三维模型、以及所述目标部件在所述车辆中的使用规则，生成所述目标部件处于所述第一状态时所述车辆对应的第二二维图像，包括：