[发明专利]基于联合位姿优化的神经辐射场增强方法

说明书

本发明属于计算机图形学领域下的神经渲染领域以及计算机视觉领域下的相机位姿优化领域，更具体地，涉及一种基于联合位姿优化的神经辐射场增强方法。通过结合神经渲染的方法，结合神经网络的表达能力，可以进一步有效的优化相机位姿，在更准确的相机位姿下，训练出的神经辐射场更接近真实场景，渲染出的图像质量更高，细节更清晰。

技术领域

本发明属于计算机图形学领域下的神经渲染领域以及计算机视觉领域下的相机位姿优化领域，更具体地，涉及一种基于联合位姿优化的神经辐射场增强方法。

背景技术

新视角合成是计算机视觉领域以及计算机图形学领域中一项极具挑战性的任务。它的定义是，从一系列的对某一场景的捕获图像中，合成新的视角下的图像。神经辐射场(NeRF)在新视角合成的任务中取得了显著的成果。而在实际应用中，相机位姿往往是通过SfM算法得到的，由于SfM算法依赖于关键点的检测以及匹配，在一些重复纹理较多的场景中，往往会产生很多外点导致错误匹配，这对SfM的性能会造成很大的不良影响。简而言之，通过SfM得到的位姿是不够准确的，使用这样的位姿采样出的点也是不准确的，而这些点的坐标就是NeRF的输入，也就导致NeRF难以拟合真实场景的神经辐射场。因此我们需要更准确的位姿，来辅助NeRF得到更准确的输入。

现有的一些方法中，隐式表达聚焦在几何属性，而不能模拟更复杂的属性，比如颜色，密度。神经渲染方法大部分需要3D显示信息作为输入，而准确的几何又很难获取，不利于位姿计算。相机位姿依赖图像之间的匹配点，如果有错误匹配被考虑到算法流程中，就会引入不同程度的误差。

发明内容

本发明为克服上述现有技术中的至少一个缺陷，提供一种基于联合位姿优化的神经辐射场增强方法，从渲染的角度，同时优化辐射场和位姿。

为解决上述技术问题，本发明采用的技术方案是：一种基于联合位姿优化的神经辐射场增强方法，包括以下步骤：

S1.针对真实场景，首先对场景拍摄一系列的图像，得到图像集合一共N_I张图像；

S2.对图像使用colmap进行数据预处理，得到相机位姿、内参、近平面和远平面的参数，相机位姿集合相机位姿具体表示为M_k＝{R_k,o_k}；假定所有的图像共享同一个相机内参K，此时的位姿只是作为初始值，后续步骤中需要进一步优化；

S3.对每一幅图，光心与像素点连线即为一条光线，任意选择n条光线；对某一条从相机光心射出的光线r(t)＝o+td，使其通过给定的像素点；o为相机的位置，d为视角方向，t为大于0的实数，在采样时选取；

S4.对每一条光线进行两次采样，分别为粗采样和细采样；此时所有的采样点坐标以及视角观察方向的坐标都是在相机坐标系之下；

S5.将相机坐标系下的点以及视角方向的坐标转换到世界坐标系下，世界坐标系与colmap坐标系一致；这一过程中引入相机位姿以及相机内参；此时将相机位姿转化为可优化的变量；

S6.在得到全局坐标之后，将这些坐标输入到两个MLP之中，第一个MLP以采样点的位置坐标作为输入，输出这个点的密度以及一个高维向量，第二个MLP以采样点的观测方向的坐标以及第一个MLP输出的高维向量作为输入，输出这个点在这个视角下的颜色值；

S7.对一条光线，采用离散的体绘制渲染积分，得到像素对应的颜色估计值；

S8.通过反向传播，同时更新网络参数以及相机位姿参数。

现有技术主要是通过捆集调整的方法来优化位姿，使用基于图像渲染的方法来合成新视角的图像。本发明通过结合神经渲染的方法，结合神经网络的表达能力，可以进一步有效的优化相机位姿，在更准确的相机位姿下，训练出的神经辐射场更接近真实场景，渲染出的图像质量更高，细节更清晰。