[发明专利]一种基于环绕视点的位姿估计优化方法

权利要求书

1.一种基于环绕视点的位姿估计优化方法，其特征在于输入为按序排列的环绕视点的图片序列和粗略相机位姿，输出为精确相机位姿，实现环绕视点的位姿估计与优化，具体实现步骤如下：

步骤1.输入为环绕视点的图片序列与粗略相机位姿，图片序列包含主视点图片I₀和其他视点图片I_n，其中n取值为1～N，表示第n个其他视点图片；假定所有视点图片尺寸为S*S，且其他视点图片依据拍摄角度变换进行排序；以主视点图片为起点，所有视点图片的真实位姿能够连接形成闭环；将图片序列输入到一个U型编解码网络中，采用3*3大小的卷积核，利用转置卷积实现上采样，该U型编解码网络能够编码不同层次特征的信息，从而从不同尺度实现估计优化；另外在提取视点图片的特征点之后，将会过滤掉匹配次数大于等于2次的特征点；

步骤2.在步骤1的U型编解码网络中实现对不同尺度下的视点图片进行特征提取，得到特征图，然后再通过粗略相机位姿投影映射到对应的位置并融合成一个3D的特征体素；

步骤3.在步骤2获得的3D特征体素之后，通过改进的3D卷积网络进行特征提取；并且每次提取特征后，不断将通道数量缩小一半，得到尺寸为S*S*32的特征体素；最终回归得到特征点空间坐标(x，y，z)、密度(μ)、图片颜色(R，G，B)，构建一个1*7的矩阵作为四层MLP网络的输入，通过全局均方差求解位姿偏移，最终回归得到视点图片I₁新的转换位姿P′_T0-1与深度信息D′₁，通过更新相机位姿P′₁；

步骤4.将步骤3得到的更新后的相机位姿P′₁、视点图片I₁和第三个视点图片I₂与以及视点图片I₂对应的粗略相机位姿P₂作为输入，输入到U型编解码神经网络中，提取特征并过滤掉匹配次数大于等于2次的特征点；经过粗略相机位姿估计投影映射，构建符合的3D特征体素；

步骤5.针对步骤4得到的3D特征体素，使用改进的3D卷积网络提取特征；最终回归得到特征点空间坐标(x，y，z)、密度(μ)、图片颜色(R，G，B)，构建一个1*7的矩阵作为输入四层MLP网络；通过全局均方差求解位姿偏移误差，最终回归得到视点图片I₂新的转换位姿P′_T1-2与深度信息D′₂，更新相机位姿P′₂；

步骤6.选择以视点图片I₂作为主视点，第四个视点I₃作为对照视点，依据步骤3、4、5更新得到视点图片I₃的相机位姿P′₃；依照这样的规则，以更新后的新视点图片作为主视点，迭代添加后一个相邻视点图片与粗略位姿，获得矫正后精准相机转移矩阵；当第n个视点图片获得更新后的相机位姿，则表明所有视点的相机位姿均已完成优化。

2.根据权利要求1所述的一种基于环绕视点的位姿估计优化方法，其特征在于所述粗略相机位姿是使用colmap进行位姿估计获取得到的。

3.根据权利要求1所述的一种基于环绕视点的位姿估计优化方法，其特征在于步骤2具体实现如下：

将步骤1中U型编解码网络中的第十三层的特征图尺度设置为原图的四分之一，是最大尺度的估计；第十六层的特征图尺度设置为原图的二分之一，是中间尺度的估计；第十九层的特征图尺度设置为与原图相等，作为最精细尺度的估计；将(S/4)尺度的特征图F_0-S/4进行转置卷积并两两相加得到(S/2)尺度的特征图F_0-S/2，将(S/2)尺度的特征图F_0-S/2进行转置卷积并两两相加得到S尺度的特征图F_0-S；再通过粗略相机位姿依据公式(1)投影映射构建3D特征体素，尺寸为S*S*128，公式(1)中f为相机焦距，u，v为图像坐标系下任意坐标点，x_w，y_w，z_w表示世界坐标系下的三维坐标点，z_c表示相机坐标的z轴值，即目标到相机的距离；

4.根据权利要求3所述的一种基于环绕视点的位姿估计优化方法，其特征在于所述的改进的3D卷积网络整体结构包含三层卷积层，采用3*3*3的小卷积核，步长1*1*1；两个池化层为2*2*2，步长为2*2*2；最后从提取到的三维特征点获得空间坐标(x，y，z)，并依据对应RGB图片中颜色信息，依据主视图70％、对照视图30％的权重分配方式获取像素颜色信息采用(R，G，B)表示，最后添加图片密度(μ)，组合成1*7的矩阵作为四层MLP网络的输入；

通过全局均方差求解位姿偏移误差，最终回归得到新的转换位姿P′_T0-1与深度信息D′₁；相机位姿能够表示视点的旋转与平移，如公式2中所示，对于两帧视点图片I₀与I₁的相机位姿分别用P₀和P₁表示，相机位姿都是4*4的矩阵，两帧视点图片之间通过变换矩阵P_T实现转换，P_T是由一个3*3的旋转矩阵R和一个3*1的平移矩阵T组成，为方便使用0和1将其补全为4*4的矩阵实现级联相乘；依据公式(2)更新视点图片I₁的相机位姿P′₁；由于视点转移角度过大会导致匹配特征点数量减少，对最终的结果有较大的影响，因此选择相邻两帧进行矫正，同时在完成矫正步骤之后回归到主视图I₀，统一相机位姿对照对象；