[发明专利]一种图像特征点的3D重建方法和装置

权利要求书

1.一种图像特征点的3D重建方法，其特征在于，应用于安装了单目相机的车辆，分析所述单目相机采集的所述车辆周围场景图像，对第t帧图像中识别出的运动特征点进行聚类，得到的聚类与在所述场景中相对运动的物体具有对应关系；所述方法包括：

从第一聚类中选取第一特征点m，所述第一聚类为所述对第t帧图像中识别出的运动特征点进行聚类后得到的聚类中的一个聚类，所述第一特征点m为所述第一聚类中在图像坐标系下距所述场景中地面位置最近的特征点；

根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点m_s，并根据R_wc将m_s转换为所述第一特征点m在车体坐标系下的归一化坐标点m_s′，R_wc为车体坐标系到相机坐标系的旋转矩阵；

使用所述单目相机的安装高度以及m_s′计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。

2.根据权利要求1所述的方法，其特征在于，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下，所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行，所述车体坐标系的坐标原点为所述单目相机的光心位置，Y′轴垂直指向地面，Z′轴和X′轴处于水平方向，Z′轴指向车辆的正前方。

3.根据权利要求1所述的方法，其特征在于，还包括：

假设所述第一聚类中特征点在车体坐标系下的O_X′Z′平面的投影点距离车体坐标系的坐标原点O的距离相同，根据所述第一特征点m对应在车体坐标系下的坐标点的坐标值计算所述投影点到坐标原点的距离；

根据所述相机成像模型计算所述第一聚类中第二特征点在相机坐标系下的归一化坐标点，再利用所述投影点到坐标原点的距离计算所述第二特征点对应在车体坐标系下的坐标点的坐标值，完成对所述第二特征点的3D重建。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述对第t帧图像中识别出的运动特征点进行聚类，具体包括：

为所述第t帧图像中的运动特征点设置类编号和标记号，所述类编号的初始值为空，所述标记号的初始值为未标记；

进行第一判断，所述第一判断用于判断是否存在类编号为空、标记号为未标记的运动特征点，若存在，从中选取第三特征点；为所述第三特征点的类编号分配一个未使用的编号；开始从所述第t帧图像中的运动特征点中搜索所述第三特征点的邻居特征点，将所述第三特征点的邻居特征点的类编号分配为所述第三特征点的类编号，并将所述第三特征点的标记号设为已标记；

进行第二判断，所述第二判断用于判断是否存在具有类编号但标记号为未标记的运动特征点，若存在，从中选取第四特征点，从所述第t帧图像中的运动特征点中搜索所述第四特征点的邻居特征点，将所述第四特征点的邻居特征点的类编号分配为所述第四特征点的类编号，并将所述第四特征点的标记号设为已标记，重复所述第二判断，直到不存在具有类编号但标记号为未标记的运动特征点为止；

再次进行所述第一判断，直到不存在类编号为空、标记号为未标记的运动特征点为止；

具有同一类编号的运动特征点属于一个聚类。

5.根据权利要求4所述的方法，其特征在于，和分别为所述第t帧图像中的运动特征点中的两个运动特征点，为目标特征点，坐标值为的坐标值为从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，包括：

第一条件，所述第一条件为和之间的距离满足第一阈值，若符合所述第一条件，确定为的邻居特征点；

从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，还包括：

第二条件，所述第二条件为和之间的光流向量的长度与和之间的光流向量的长度满足第二阈值；

第三条件，所述第三条件为和之间的光流向量与和之间的光流向量之间的夹角满足第三阈值；

若在符合所述第一条件的基础上，还符合所述第二条件和/或第三条件，确定为的邻居特征点；

其中，和分别为特征点mⁱ在第t帧图像和第t-1帧图像中的对应的位置，和分别为特征点m^j在第t帧图像和第t-1帧图像中的对应的位置。