[发明专利]基于联合位姿优化的神经辐射场增强方法

权利要求书

1.一种基于联合位姿优化的神经辐射场增强方法，其特征在于，包括以下步骤：

S1.针对真实场景，首先对场景拍摄一系列的图像，得到图像集合一共N_I张图像；

S2.对图像使用colmap进行数据预处理，得到相机位姿、内参、近平面和远平面的参数，相机位姿集合相机位姿具体表示为M_k＝{R_k,o_k}；假定所有的图像共享同一个相机内参K，此时的位姿只是作为初始值，后续步骤中需要进一步优化；

S3.对每一幅图，光心与像素点连线即为一条光线，任意选择n条光线；对某一条从相机光心射出的光线r(t)＝o+td，使其通过给定的像素点，o为相机的位置，d为视角方向，t为大于0的实数，在采样时选取；

S4.对每一条光线进行两次采样，分别为粗采样和细采样；此时所有的采样点坐标以及视角观察方向的坐标都是在相机坐标系之下；

S5.将相机坐标系下的点以及视角方向的坐标转换到世界坐标系下，世界坐标系与colmap坐标系一致；这一过程中引入相机位姿以及相机内参；此时将相机位姿转化为可优化的变量；

S6.在得到全局坐标之后，将这些坐标输入到两个MLP之中，第一个MLP以采样点的位置坐标作为输入，输出这个点的密度以及一个高维向量，第二个MLP以采样点的观测方向的坐标以及第一个MLP输出的高维向量作为输入，输出这个点在这个视角下的颜色值；

S7.对一条光线，采用离散的体绘制渲染积分，得到像素对应的颜色估计值；

S8.通过反向传播，同时更新网络参数以及相机位姿参数。

2.根据权利要求1所述的基于联合位姿优化的神经辐射场增强方法，其特征在于，所述的步骤S1中拍摄的所有的图像均近似为向前拍摄或者360度向内拍摄；使用旋转矩阵来表示相机的朝向；使用3维坐标表示相机位置；(·)_w表示在世界坐标系下的坐标点；(·)_c表示相机坐标系下的坐标点；表示基于小孔成像的相机内参矩阵。

3.根据权利要求1所述的基于联合位姿优化的神经辐射场增强方法，其特征在于，所述的步骤S3中，根据体绘制的原理，任意像素点的颜色通过以下积分求得：

式中，σ为r(t)点的密度，c为r(t)点在d方向观测的颜色；光线从t_n出发直到t_f。

4.根据权利要求3所述的基于联合位姿优化的神经辐射场增强方法，其特征在于，所述的步骤S4中，粗采样在光线上采64个点，细采样在这个64个点的基础上，根据粗采样密度分布，额外再采128个点。

5.根据权利要求4所述的基于联合位姿优化的神经辐射场增强方法，其特征在于，对连续积分式(1)离散化后得：

式中，δ_i＝t_t+1-t_i是两个离散积分点之间的距离；在式(2)中，颜色的表达式关于采样点和视角方向是可微的。

6.根据权利要求5所述的基于联合位姿优化的神经辐射场增强方法，其特征在于，在所述的步骤S5中，将输入的参数表达为位姿相关的函数：

r(t,R,o)＝o+tRK^-1p， (4)

式中，p＝[u,v,1]^T表示像素的齐次坐标，t表示对应采样点的深度值。

7.根据权利要求6所述的基于联合位姿优化的神经辐射场增强方法，其特征在于，所述的步骤S6中，使用MLP模型来模拟场景属性，对场景中任意点的密度和颜色进行拟合，定义为F_θ，F_θ以空间中点的坐标x＝(x,y,z)以及观察视角方向d＝(d_x,d_y,d_z)作为输入，输出该点的密度σ以及颜色c＝(r,g,b)；

MLP的表达式为：

式中，γ(·)表示对位置的编码。