[发明专利]一种全景图的垂直校正、灭点检测方法、设备及存储介质

权利要求书

1.一种全景图的垂直校正方法，其特征在于，包括：

将目标全景图转换为多个透视图；

在所述多个透视图中检测直线段；

基于所述多个透视图各自所在的透视相机坐标系与全景相机坐标系之间的映射关系，对检测到的直线段进行联合聚类，以获得多个平行直线簇；

分别计算多个平行直线簇在所述全景相机坐标系中对应的灭点位置；

根据所述全景相机坐标系中产生的多个灭点位置之间的相互垂直关系，选取三个相互垂直的灭点位置作为待优化灭点位置；

以三个待优化灭点位置在各自所处方向下的偏好距离之和最小为目标，对所述三个待优化灭点位置进行联合优化，以确定所述三个待优化灭点位置各自对应的优化值而获得三个优化后灭点位置；

根据所述三个待优化灭点位置各自对应的优化值，确定所述目标全景图对应的垂直校正矩阵；

按照所述垂直校正矩阵对所述目标全景图进行垂直校正；

其中，单个待优化灭点位置在其所处方向下的偏好距离为所述方向下各直线段的端点到相应直线段的中点与所述待优化灭点位置在相应透视图中的映射位置之间连线的距离之和。

2.根据权利要求1所述的方法，其特征在于，所述对检测到的直线段进行联合聚类，以获得多个平行直线簇，包括：

基于所述多个透视图各自对应的所述映射关系，将检测到的每条直线段映射至所述全景相机坐标系中并两两进行灭点假设，以在所述全景相机坐标系中获得若干假设灭点；

将各个假设灭点分别映射回所述多个透视图，以在所述多个透视图中产生若干映射灭点；

在所述多个透视图中分别进行直线段与映射灭点的共线性判断；

将共线性判断结果关联至所述全景相机坐标系中的假设灭点，以在所述全景相机坐标系中对所述多个透视图中检测到的直线段进行联合聚类而获得多个平行直线簇。

3.根据权利要求2所述的方法，其特征在于，在所述多个透视图中分别进行直线段与映射灭点的共线性判断的过程，包括：

遍历第一透视图中每条直线段和每个映射灭点；

若当前直线段的端点到当前直线段中点与当前映射灭点之间的连线的距离，小于指定阈值，则确定当前映射灭点在所述全景相机坐标系中对应的假设灭点与当前直线段具有共线性；

其中，所述第一透视图为所述多个透视图中的任意一个。

4.根据权利要求1所述的方法，其特征在于，所述分别计算多个平行直线簇在所述全景相机坐标系中对应的灭点位置，包括：

针对多个平行直线簇中的第一平行直线簇，计算其在所述全景相机坐标系中所对应灭点位置的初始值；

从所述初始值开始，以所述灭点位置与所述第一平行直线簇内各直线段的之间的距离之和最小为目标，对灭点位置进行迭代优化，以确定所述第一平行直线簇在所述全景相机坐标系中对应的灭点位置。

5.根据权利要求4所述的方法，其特征在于，计算灭点位置与所述第一平行直线簇内第一直线段之间的距离的过程包括：

确定所述第一平行直线簇内的第一直线段所处的目标透视图；

基于所述目标透视图所对应的所述映射关系，计算所述灭点位置在所述目标透视图中的映射位置；

计算所述第一直线段的端点到所述第一直线段的中点与所述映射位置之间连线的距离，作为所述灭点位置到所述第一直线段的距离；

其中，第一直线段为所述第一平行直线簇中的任意直线段。

6.根据权利要求4所述的方法，其特征在于，为长度更长的直线段配置更高的权重；

在所述迭代优化过程中：

从所述初始值开始，分别对所述灭点位置与所述第一平行直线簇内的各直线段之间的距离进行加权，并以加权后距离之和最小为目标，对灭点位置进行迭代优化。

7.根据权利要求4所述的方法，其特征在于，所述针对第一平行直线簇，计算其在所述全景相机坐标系中所对应灭点位置的初始值，包括：

以所述第一平行直线簇内各个直线段对应的转置矩阵与所述灭点位置在相应透视图中的映射位置对应的矩阵之间的乘积的平方和最小为目标，求解所述灭点位置的初始值。