[发明专利]一种图像特征点的3D重建方法和装置

说明书

技术领域

本发明涉及数据处理领域，特别是涉及一种图像特征点的3D重建方法和装置。

背景技术

随着视频采集和图像数据处理的技术愈发成熟，在汽车驾驶等方面已经有了较多的应用。例如可以通过安装在车辆上的摄像装置采集车辆周围场景的视频，通过对视频进行逐帧分析，识别出场景中特征点的具体类型，特征点可以理解为图像帧中的具有一定特征的图像点例如图像中物体上的点等，特征点的类型可以包括相对于地面静止的特征点和运动的特征点。从场景中识别出的特征点的坐标可以是处于相机坐标系中的坐标，所述相机坐标系具有相互垂直的三个坐标轴，其中一个坐标轴与摄像装置的光轴重合，另外两个坐标轴均与图像帧所在平面平行，相机坐标系的坐标原点可以是摄像装置光心的位置。

对获取的特征点进行3D重建，计算得出特征点具体在车体坐标系中的坐标值，所述3D重建可以为通过计算得出特征点在车体坐标系下的坐标值，从而实现场景3D位置重建。车体坐标系具有相互垂直的三个坐标轴，其中一个坐标轴垂直指向地面，另外两个坐标轴处于水平方向，这两个坐标轴中的一个坐标轴指向车辆的正前方，车体坐标系的坐标原点可以是摄像装置光心的位置。

通过3D重建获得特征点在车体坐标系下的坐标值，可以有效的为实现汽车辅助驾驶、汽车自动驾驶等功能提供数据依据，例如应用在车辆轨迹规划、规避碰撞等。

目前能够实现上述对特征点进行3D重建功能的摄像装置需为双目相机，通过双目相机特殊的双目定位功能，可以有效的完成对特征点尤其是运动特征点的3D重建。然而双目相机的成本很高，基本只能应用在高档汽车上，限制了在汽车驾驶等方面应用的普及。

发明内容

为了解决上述技术问题，本发明提供了一种图像特征点的3D重建方法和装置，使得可以通过成本低廉的单目相机有效的实现对运动特征点的3D重建。

本发明实施例公开了如下技术方案：

一种图像特征点的3D重建方法，应用于安装了单目相机的车辆，分析所述单目相机采集的所述车辆周围场景图像，对第t帧图像中识别出的运动特征点进行聚类，得到的聚类与在所述场景中相对运动的物体具有对应关系；所述方法包括：

从第一聚类中选取第一特征点m，所述第一聚类为所述对第t帧图像中识别出的运动特征点进行聚类后得到的聚类中的一个聚类，所述第一特征点m为所述第一聚类中在图像坐标系下距所述场景中地面位置最近的特征点；

根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点m_s，并根据R_wc将m_s转换为所述第一特征点m在车体坐标系下的归一化坐标点m′_s，R_wc为车体坐标系到相机坐标系的旋转矩阵；

使用所述单目相机的安装高度以及m′_s计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。

可选的，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下，所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行，所述车体坐标系的坐标原点为所述单目相机的光心位置，Y′轴垂直指向地面，Z′轴和X′轴处于水平方向，Z′轴指向车辆的正前方。

可选的，还包括：

假设所述第一聚类中特征点在车体坐标系下的O_X′Z′平面的投影点距离车体坐标系的坐标原点O的距离相同，根据所述第一特征点m对应在车体坐标系下的坐标点的坐标值计算所述投影点到坐标原点的距离；

根据所述相机成像模型计算所述第一聚类中第二特征点在相机坐标系下的归一化坐标点，再利用所述投影点到坐标原点的距离计算所述第二特征点对应在车体坐标系下的坐标点的坐标值，完成对所述第二特征点的3D重建。

可选的，所述对第t帧图像中识别出的运动特征点进行聚类，具体包括：

为所述第t帧图像中的运动特征点设置类编号和标记号，所述类编号的初始值为空，所述标记号的初始值为未标记；

进行第一判断，所述第一判断用于判断是否存在类编号为空、标记号为未标记的运动特征点，若存在，从中选取第三特征点；为所述第三特征点的类编号分配一个未使用的编号；开始从所述第t帧图像中的运动特征点中搜索所述第三特征点的邻居特征点，将所述第三特征点的邻居特征点的类编号分配为所述第三特征点的类编号，并将所述第三特征点的标记号设为已标记；