[发明专利]一种基于点线特征的视觉同步定位与地图构建方法及装置

权利要求书

1.一种基于点线特征的视觉同步定位与地图构建方法，其特征在于，包括：

获取当前待定位与地图构建的环境所对应的环境图像；

对所述环境图像进行预处理，并对预处理后的环境图像进行特征点提取和直线特征提取，以获取所述环境图像中的特征点信息和直线特征信息；

对待匹配的环境图像进行特征信息匹配，得到相应的环境图像的匹配结果；

基于相应的环境图像的匹配结果，构建视觉同步定位与地图构建系统，以通过所述视觉同步定位与地图构建系统实现对应设备的自身定位和全局建图；

对预处理后的环境图像进行特征点提取，包括：

将预处理后的环境图像按照图像尺寸均分为多个图像子区域；

基于FAST算法，依次对划分出的每一所述图像子区域进行特征点提取，获取各图像子区域所对应的特征点；

基于BRIEF算法，计算每一特征点对应的二进制的描述子；

在环境图像大小下建立一个根结点，然后将所述根结点均匀的分割为四个子结点，遍历环境图像上的所有特征点并统计每个结点区域内的特征点数量；

如果当前节点所对应的结点区域内的特征点数为一，则将当前结点标记为不再分割；如果当前节点所对应的节点区域内的特征点数为零，则删除当前结点；如果当前节点所对应的结点区域内的特征点数大于一，则继续分割当前结点，直至结点总数达到设定阈值或每一结点区域内的特征点的数量均为一；

当结点停止分割时，如果存在特征点数大于一的节点区域，则只保留该特征点数大于一的节点区域内的响应值最大的特征点，而删除其他特征点；

基于FAST算法，依次对划分出的每一所述图像子区域进行特征点提取，获取各图像子区域所对应的特征点，包括：

从预处理后的环境图像中选取候选点；

以所述候选点为圆心，比较设定邻域半径上的所有像素点，将设定邻域半径上的所有像素点的灰度值依次与所述候选点的灰度值进行比较；

当有连续预设数量的像素点与所述候选点之间的灰度值差值的绝对值大于预设灰度阈值时，确定所述候选点为特征点；

以所述候选点为圆心，比较设定邻域半径上的所有像素点，将设定邻域半径上的所有像素点的灰度值依次与所述候选点的灰度值进行比较，包括：

首先依次将所述候选点上、下、左、右四个方向上的像素点的灰度值与所述候选点的灰度值进行比较，得到四个像素点与所述候选点之间的灰度值差值的绝对值；当这四个像素点与所述候选点之间的灰度值差值的绝对值中有三个大于预设灰度阈值时，再依次将设定邻域半径上的其他像素点的灰度值与所述候选点的灰度值进行比较；否则，直接确定所述候选点不是特征点；

所述基于BRIEF算法，计算特征点对应的二进制的描述子，包括：

确定当前特征点对应的邻域，并获取所述邻域的灰度值质心；

建立以当前特征点为原点，以当前特征点与所述邻域的灰度值质心之间的连线为X轴的平面坐标系；

基于建立的平面坐标系，在所述邻域范围内选取点对；

分别对选取的点对进行预设操作，并将各点对的操作结果进行组合，得到当前特征点的描述子；其中，各点对的操作结果为0或1；

对预处理后的环境图像进行直线特征提取，包括：

采用LSD算法对预处理后的环境图像进行直线特征提取，并采用LBD算法计算每一直线特征的LBD描述子；

在计算出的LBD描述子中选取预设数量的元素对；

分别对选取的元素对中两个元素进行大小比较，并将各元素对的比较结果进行组合，得到当前直线特征的描述子；其中，各元素对的比较结果为0或1；

对预处理后的环境图像进行直线特征提取，还包括：

在预处理后的环境图像中建立极坐标系；

根据所述极坐标系得到各直线特征的极坐标表示；

采用J-linkage算法对通过极坐标表示的直线特征进行聚类，为属于同一类的直线特征分配相同的标签号，然后对具有相同标签号的直线特征对应的极坐标进行加权平均，得到组合后的直线特征，以将被分割的同一条直线进行还原。

2.如权利要求1所述的基于点线特征的视觉同步定位与地图构建方法，其特征在于，所述对所述环境图像进行预处理，包括：

根据预设的相机模型与参数，实现环境图像的畸变校正与左右目图像对齐。

3.一种基于点线特征的视觉同步定位与地图构建装置，所述基于点线特征的视觉同步定位与地图构建装置包括处理器和存储器；其中，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行，以实现下列步骤：

获取当前待定位与地图构建的环境所对应的环境图像；

对所述环境图像进行预处理，并对预处理后的环境图像进行特征点提取和直线特征提取，以获取所述环境图像中的特征点信息和直线特征信息；

对相邻帧环境图像进行特征信息匹配，得到相邻帧环境图像的匹配结果；

基于相邻帧环境图像的匹配结果，构建视觉同步定位与地图构建系统，以通过所述视觉同步定位与地图构建系统实现对应设备的自身定位和全局建图；

对预处理后的环境图像进行特征点提取，包括：

将预处理后的环境图像按照图像尺寸均分为多个图像子区域；

基于FAST算法，依次对划分出的每一所述图像子区域进行特征点提取，获取各图像子区域所对应的特征点；

基于BRIEF算法，计算每一特征点对应的二进制的描述子；

在环境图像大小下建立一个根结点，然后将所述根结点均匀的分割为四个子结点，遍历环境图像上的所有特征点并统计每个结点区域内的特征点数量；

如果当前节点所对应的结点区域内的特征点数为一，则将当前结点标记为不再分割；如果当前节点所对应的节点区域内的特征点数为零，则删除当前结点；如果当前节点所对应的结点区域内的特征点数大于一，则继续分割当前结点，直至结点总数达到设定阈值或每一结点区域内的特征点的数量均为一；

当结点停止分割时，如果存在特征点数大于一的节点区域，则只保留该特征点数大于一的节点区域内的响应值最大的特征点，而删除其他特征点；

基于FAST算法，依次对划分出的每一所述图像子区域进行特征点提取，获取各图像子区域所对应的特征点，包括：

从预处理后的环境图像中选取候选点；

以所述候选点为圆心，比较设定邻域半径上的所有像素点，将设定邻域半径上的所有像素点的灰度值依次与所述候选点的灰度值进行比较；

当有连续预设数量的像素点与所述候选点之间的灰度值差值的绝对值大于预设灰度阈值时，确定所述候选点为特征点；

以所述候选点为圆心，比较设定邻域半径上的所有像素点，将设定邻域半径上的所有像素点的灰度值依次与所述候选点的灰度值进行比较，包括：

首先依次将所述候选点上、下、左、右四个方向上的像素点的灰度值与所述候选点的灰度值进行比较，得到四个像素点与所述候选点之间的灰度值差值的绝对值；当这四个像素点与所述候选点之间的灰度值差值的绝对值中有三个大于预设灰度阈值时，再依次将设定邻域半径上的其他像素点的灰度值与所述候选点的灰度值进行比较；否则，直接确定所述候选点不是特征点；

所述基于BRIEF算法，计算特征点对应的二进制的描述子，包括：

确定当前特征点对应的邻域，并获取所述邻域的灰度值质心；

建立以当前特征点为原点，以当前特征点与所述邻域的灰度值质心之间的连线为X轴的平面坐标系；

基于建立的平面坐标系，在所述邻域范围内选取点对；

分别对选取的点对进行预设操作，并将各点对的操作结果进行组合，得到当前特征点的描述子；其中，各点对的操作结果为0或1；

对预处理后的环境图像进行直线特征提取，包括：

采用LSD算法对预处理后的环境图像进行直线特征提取，并采用LBD算法计算每一直线特征的LBD描述子；

在计算出的LBD描述子中选取预设数量的元素对；

分别对选取的元素对中两个元素进行大小比较，并将各元素对的比较结果进行组合，得到当前直线特征的描述子；其中，各元素对的比较结果为0或1；

对预处理后的环境图像进行直线特征提取，还包括：

在预处理后的环境图像中建立极坐标系；

根据所述极坐标系得到各直线特征的极坐标表示；

采用J-linkage算法对通过极坐标表示的直线特征进行聚类，为属于同一类的直线特征分配相同的标签号，然后对具有相同标签号的直线特征对应的极坐标进行加权平均，得到组合后的直线特征，以将被分割的同一条直线进行还原。