[发明专利]一种移动端视觉融合定位方法、系统及电子设备

权利要求书

1.一种移动终端视觉融合定位方法，其特征在于，包括以下步骤：

步骤a：基于标定的起始位置和传感器信息，获取移动终端的初始位置，并将初始位置设置为定位目标的当前位置；

步骤b：使用移动终端获取视频帧；

步骤c：检测所述视频帧中的静态物体，通过BIM空间数据库获取所述静态物体的地理坐标信息，将所述静态物体的坐标信息带入多目标物体定位模型，通过高斯牛顿法迭代求解所述定位模型，获取移动终端当前位置，并将所述移动终端当前位置与静态物体的坐标信息相结合，得到定位目标的定位结果；其中所述定位模型为：(x，y，z)是移动终端当前的位置，(x_n，y_n，z_n)是BIM空间数据库中存储的静态物体坐标信息，ρ_n是当前静态物体到移动终端的深度，σ_n是深度的测量噪声；

在所述步骤b中，所述使用移动终端获取视频帧后还包括：视觉里程计根据获取的视频帧计算移动终端当前的位姿信息；

所述视觉里程计根据获取的视频帧计算移动终端当前的位姿信息具体包括：

步骤b1：视觉里程计将获取的视频帧缩放至设定大小后，存入图像滑动窗口，并判断当前视频帧是否为第一帧，如果当前视频帧为第一帧则仅进行提取关键点操作；否则，提取关键点并计算当前关键点与前一视频帧关键点的残差；单个关键点残差e是关键点像素亮度的误差，计算公式为：

e＝I₁(x₁)-I₂(x₂)＝I₁(Kp₁)-I₂(K(Rp₁+t))

上述公式中，I₂为I₁经过某种运动得到，R和t是移动终端运动轨迹，x₁是关键点在图像I₁中的像素位置，x₂是关键点在图像I₂中的像素位置，p₁是关键点在现实空间中的坐标，K是移动终端的内参矩阵；

步骤b2：利用高斯牛顿法求解残差雅可比，得到当前视频帧与上一视频帧的运动位姿，并将其记录至位姿存储滑动窗口；

步骤b3：得到当前视频帧的移动终端位姿，提取所述位姿的空间偏移量，并将空间偏移量转换成相对坐标偏移值，即为移动终端的运动偏移；

所述步骤b还包括：判断监听定位状态，如果不是定位状态，则将所述移动终端当前的位姿信息与上一次获取的当前位置相加后，对定位目标的当前位置进行更新；如果是定位状态，执行步骤c。

2.根据权利要求1所述的移动终端视觉融合定位方法，其特征在于，在所述步骤c中，检测视频帧中的静态物体，通过BIM空间数据库获取所述静态物体的坐标信息，将所述静态物体的坐标信息带入多目标物体定位模型，通过高斯牛顿法迭代求解所述定位模型，获取移动终端当前位置具体包括：

步骤c1：取出所述视频帧，输入至目标检测神经网络中，得到该视频帧中所包含的静态物体种类，并将所述静态物体的中心像素位置设置为标定点，然后取出下一视频帧以及所述下一视频帧的移动终端位姿信息，利用三角测量法算出标定点与移动终端的深度信息；其中，所述三角测量法公式如下：

上述公式中，s₁，s₂是关键点的深度信息；

步骤c2：通过识别的静态物体类别，以当前位置的坐标信息加载BIM空间信息数据库，根据所述BIM空间信息数据库得到所述静态物体的坐标信息；

步骤c3：将所述静态物体的坐标信息带入定位模型中，并采用高斯牛顿法迭代求解，得到移动终端当前位置；高斯牛顿法求解方程组为：

上述公式中，(x，y，z)是移动终端的当前位置，(x_n，y_n，z_n)是BIM空间数据库中存储的静态物体坐标信息，ρ_n是静态物体到移动终端的深度，σ_n是深度的测量噪声；

步骤c4：将所述移动终端当前位置与静态物体坐标信息相结合，得到当前位置的定位结果，并生成所述定位结果的室内电子地图及BIM空间数据库。