[发明专利]一种基于层次主题模型的语义SLAM对象关联方法

权利要求书

1.一种基于层次主题模型的语义SLAM对象关联方法，其特征在于，所述方法包括以下步骤：

1)对相机进行内参标定得到相机的畸变参数和内参矩阵

其中，[x,y]是归一化平面点的坐标，[x_distorted,y_distorted]是畸变后的坐标，k₁,k₂,k₃,p₁,p₂是畸变项；

P为相机内参矩阵，其中f为相机焦距，[O_x,O_y]为主光轴点；

2)利用SSD和CNN构建深度学习网络，训练深度学习模型，完成物体识别和物体位姿预测任务；

3)基于层次主题模型的语义SLAM是在ORB-SLAM2的基础上改进得到的，机器人运动过程中，相机会捕捉到一系列的图像I_1:T＝{I₁,…,I_T}，对于每一帧图像，计算相机的位姿x_t以及地图点的三维位置，在此过程中，相机的运动方程表示如下：

x_t＝f(x_t-1,μ_t)+ω_t,ω_t～N(0,R_t) (3.1)

其中，μ_t是运动测量，ω_t是服从均值为0，方差为R_t的高斯分布的噪声，相机的观测方程表示如下：

z_t＝h(x_t,y_t)+v_t,v_t～N(0,Q_t) (3.2)

将第一帧图像作为关键帧D₀，之后的图像以前一帧关键帧为参照，将图像信息变化明显的图像帧设为新的关键帧D₁，并添加到关键帧队列，以此类推，假设整个过程中共抽取了k个关键帧，即D_0:k＝{D₀,…,D_k},D表示关键帧集合；

4)对每一个关键帧D_i作如下操作，0≤i≤k：

a)利用深度学习模型识别关键帧对应的图像上的目标物体，并估计其相对于相机的位姿，则得到该帧图像的对象测量其中M_i表示在该帧图像中检测到的物体个数；

b)从之前的关键帧队列中筛选与关键帧D_i有视角重合的n个关键帧集合，这些关键帧的对象测量的集合记为y_c＝{y_c1,…,y_cn}.对每一个出现在关键帧D_i的对象，将其与y_c中所有同类别的对象测量利用层次主题模型计算关联概率，根据概率是否大于阈值来判断两个对象是否关联；

c)对当前系统中的每一个对象，构造其与相关的关键帧还有地图点的因子图，进行对象位姿、相机位姿和地图点位置的优化；

5)如果检测到关键帧回环，进行回环矫正，并更新相关物体位姿；

6)物体关联操作执行后，实时绘制带有三维位姿物体、相机运动轨迹的地图。

2.如权利要求1所述的一种基于层次主题模型的语义SLAM对象关联方法，其特征在于，所述步骤4)中，通过深度学习预测得到的对象测量，利用层次主题模型对对象测量进行建模，建模的过程设计到吉布斯采样方法，根据构造的HDP主题模型进行对象关联计算，并基于对象关联进行相机位姿优化。