[发明专利]一种基于环绕视点的位姿估计优化方法

说明书

本发明公开了一种基于环绕视点的位姿估计优化方法。本发明将稀疏视点图片与对应粗略相机位姿作为输入，利用编解码神经网络提取出图片序列的不同尺度的特征，将不同尺度的特征进行转置卷积并两两相乘，按照粗略相机位姿映射并融合为3D特征体素，通过3D卷积网络提取特征点空间坐标、密度与颜色信息作为输入进入MLP网络，回归得到位姿偏移误差，更新对照视点位姿并回归主视点坐标系。本发明对输入的多视点图片进行预处理，利用神经网络，基于多视图，将特征匹配与位姿优化两个任务集成起来，得到了精确的相机位姿。本发明提出的于环绕视图的位姿估计优化方法，提高了位姿估计的精度，大大提升了三维重建的质量。

技术领域

本发明涉及位姿估计领域，具体是一种基于环绕视点的位姿估计优化方法。

背景技术

实现对真实世界的重现一直是计算机视觉研究的热点。图像是三维世界中真是物体在二维平面的一个投影，现存方法已经能够由图像重建三维模型，但是整体算法耗时长，且易受到深度估计不准确导致相机位姿估计有较大偏差导致模型重建质量差。近年来，随着深度相机的普及，基于RGB-D相机的三维重建也不断的发展，但是始存在相机深度分辨率不高，位姿估计不准确等缺点，导致重建的模型精细度不够，纹理几何结构失真等问题。

对粗略位姿进行精细优化，可以实现更高质量的三维重建。传统的位姿估计算法，首先通过特征点匹配算法求解相邻帧之间的位姿转换矩阵，通过不断延展获得相机坐标，但是在多视图的情况下，尤其是环绕视点下，由于只是进行粗略的位姿估计，随着视点数量增加，误差不断累积，使得后续的位姿产生了较大的偏移，导致重建结果不理想。

发明内容

本发明的目的是针对现有技术的不足，提出一种基于环绕视点的位姿估计优化方法。本发明输入为按序排列的环绕视点的图片序列和粗略相机位姿，输出为精确相机位姿，实现环绕视点的位姿估计与优化。

为了实现上述目的，本发明的技术方案包括如下步骤：

本发明输入为按序排列的环绕视点的图片序列和粗略相机位姿，输出为精确相机位姿，实现环绕视点的位姿估计与优化，具体实现步骤如下：

步骤1.输入为环绕视点的图片序列与粗略相机位姿，图片序列包含主视点图片I₀和其他视点图片I_n，其中n取值为1～N，表示第n个其他视点图片；假定所有视点图片尺寸为S*S，且其他视点图片依据拍摄角度变换进行排序；以主视点图片为起点，所有视点图片的真实位姿能够连接形成闭环；将图片序列输入到一个U型编解码网络中，采用3*3大小的卷积核，利用转置卷积实现上采样，该U型编解码网络能够编码不同层次特征的信息，从而从不同尺度实现估计优化；另外在提取视点图片的特征点之后，将会过滤掉匹配次数大于等于2次的特征点；

步骤2.在步骤1的U型编解码网络中实现对不同尺度下的视点图片进行特征提取，得到特征图，然后再通过粗略相机位姿投影映射到对应的位置并融合成一个3D的特征体素；

步骤3.在步骤2获得的3D特征体素之后，通过改进的3D卷积网络进行特征提取；并且每次提取特征后，不断将通道数量缩小一半，得到尺寸为S*S*32的特征体素；最终回归得到特征点空间坐标(x,y,z)、密度(ρ)、图片颜色(R,G,B)，构建一个1*7的矩阵作为四层MLP网络的输入，通过全局均方差求解位姿偏移，最终回归得到视点图片I₁新的转换位姿P'_T0-1与深度信息D'₁，通过更新相机位姿P'₁；

步骤4.将步骤3得到的更新后的相机位姿P'₁、视点图片I₁和第三个视点图片I₂与以及视点图片I₂对应的粗略相机位姿P₂作为输入，输入到U型编解码神经网络中，提取特征并过滤掉匹配次数大于等于2次的特征点；经过粗略相机位姿估计投影映射，构建符合的3D特征体素；