[发明专利]一种面向RGBD数据流的相机位姿估计方法

说明书

本发明涉及一种面向RGBD数据流的相机位姿估计方法，包括构建三维点云映射图、三维点云映射图的配准两个部分。首先将深度数据进行滤波等预处理操作，然后根据相机内参将预处理后的深度图像构建三维点云映射图；根据上一帧的相机位姿，采用投影映射算法对两帧三维点云映射图进行对应点匹配，然后对点到平面的距离误差函数作能量优化，估计两帧点云间变换矩阵的六个参数；根据上一帧的相机位姿估计当前帧的相机位姿，迭代上述过程优化得到最终的相机位姿。本发明能够在现有的移动设备上实时运行，并能够在输入数据分辨率较低时也能得到良好的结果。

技术领域

本发明属于计算机视觉与计算机图形图像处理领域，具体地说是一种面向RGBD数据流的相机实时位姿估计方法，该方法可在输入数据分辨率较低、深度数据存在空洞和噪声、设备运算能力较低的情况下实时地估计相机位姿，对于SLAM和实时三维重建技术的研究有着重要意义。

背景技术

随着深度传感器的普及和三维重建技术的发展，近年来基于深度数据的三维模型重建的研究正在兴起。与传统基于RGB数据的三维重建相比，深度数据提供了场景的三维信息，极大地提高了三维重建的可行性和精度。而相机位姿的估计在三维重建等相关应用场景中起到了至关重要的作用。

目前在三维重建中相机位姿估计方法可以分为以下三类：一是基于RGB图像的方法，这类方法大多利用RGB图像进行特征点匹配，然后估计两幅图像的变换矩阵，由于没有深度信息，这类方法估计的变换矩阵精度较低；二是基于深度图像的方法，或是基于RGBD的方法，这类方法借助深度数据提供的三维信息，进行三维点云配准，精度相对较高；三是基于惯性传感器的方法，这类方法利用加速度计、电子罗盘和陀螺仪等惯性导航设备，有的也结合视觉估计相机位姿，鲁棒性和精度一般较高，但对硬件设备的需求较高。

上述相机位姿估计方法有的耗时较大，比如特征点的提取，能量方程的优化等步骤，有的对输入数据的质量要求较高，如光照一致、分辨率较高等，通常难以在移动设备等运算效率较低的平台上达到实时性的要求。

发明内容

为克服上述缺点，本发明的目的在于根据RGBD数据流的特点，结合三维重建的需求，提供一种相机位姿实时估计方法，其能够在现有的移动设备上实时运行，并能够在输入数据分辨率较低时也能得到良好的结果。

为了达到上述目的，本发明提出了一种面向RGBD数据流的相机位姿实时估计方法，其特征在于包括以下步骤：

步骤(1)、对原始RGBD数据流中的深度数据作预处理操作，得到平滑的深度数据；同时对原始RGBD数据流中的RGB图像去模糊；

步骤(2)、对平滑的深度数据，根据相机内部参数，将所述深度数据中的每一个像素点的深度转化为相机坐标系下的三维坐标；利用相邻像素的三维坐标值计算每一个像素对应的三维点云的法向量；由所述三维坐标和法向量构成三维点云映射图；

步骤(3)、对于当前帧和上一帧的两组三维点云映射图，利用当前估计的相机位姿和上一帧的相机位姿，将当前帧三维点云映射图中每一个像素的三维点云坐标P1转化到上一帧相机坐标系下的坐标，再利用相机内部参数投影到像素坐标系下，获得上一帧三维点云映射图中对应像素坐标的点云数据P2；将P1与P2分别计算在世界坐标系下的三维坐标和法向量以及颜色值，其中三维坐标的距离、法向量的夹角及颜色的差值均在设定阈值范围内的对应点对视为匹配；

步骤(4)、将两帧三维点云映射图之间的相机变换矩阵表示为六个参数，根据点到平面的距离误差函数，利用步骤(3)所得的对应点对构造系数矩阵，求解所述六个参数的线性方程组，将所述六个参数转化为当前估计的两帧三维点云映射图之间的相机变换矩阵；

步骤(5)、根据步骤(4)所得的两帧三维点云映射图之间的相机变换矩阵，及上一帧的相机位姿，估计当前帧的相机位姿，再将估计的当前相机位姿代回到步骤(3)中，迭代步骤(3)～(4)直到设定次数或误差在设定范围内。