[发明专利]一种基于深度引导采样的高效神经辐射场渲染方法

说明书

本发明公开了一种基于深度引导采样的高效神经辐射场渲染方法，首先获取目标视图，并获取目标视图的图像特征；在目标视图前，采样若干深度平面，利用提取到的图片特征在每个深度平面上构建以方差为代价的代价体；利用基于3D卷积的神经网络处理代价体获取概率体，并得到每一个像素上的深度；对每个像素点，在深度可能所处的区间采样少量点，同时利用神经网络计算神经辐射场；利用体渲染公式计算每个像素点的颜色，得到最终渲染出来的图片。本发明能够支持高速的基于神经辐射场的渲染。高速的基于神经辐射场的渲染能够支持大场景和动态场景下新视角合成的相关应用，包括自由视点视频直播等应用。

技术领域

本发明属于计算机技术领域，尤其涉及一种基于深度引导采样的高效神经辐射场渲染方法。

背景技术

近期一些基于神经辐射场的渲染技术在新视角合成上取得了极佳的效果，但是这种技术需要数小时的训练过程和漫长的渲染过程。为了避免数小时的训练，一些方法利用图像特征重建神经辐射场，这使得此技术能够在新的场景泛化，从而避免训练，但它仍然需要漫长的渲染过程。为了解决这个问题，一些方法利用高效的数据结构将场景的神经辐射场预计算并缓存下来，从而实现加速。但是，预计算需要较长的时间，缓存需要大量的存储空间，这些缺点阻止了基于神经辐射应用的新视角合成技术在大场景和动态场景下。

发明内容

本发明目的在于针对现有技术的不足，提出一种基于深度引导采样的高效神经辐射场渲染方法。

本发明的目的是通过以下技术方案来实现的：一种基于深度引导采样的高效神经辐射场渲染方法，该方法具体的步骤如下：

(1)获取M张待渲染视角附近的图片，通过深度神经网络提取得到M张图片特征{F_i|i＝1,…,N}，其中F_i为第i张图片的特征；记待渲染视角的图片为目标视图，获取的待渲染视角附近的图片为给定视图。

(2)利用给定视图计算目标视图的深度图像D，用D(u,v)表示目标视图上像素点(u,v)的深度值。

(3)对于目标视图上的一个像素点(u,v)，在其深度可能所处的区间[D(u,v)-ΔD(u,v), D(u,v)+ΔD(u,v)]，采样N_k个点{x_k|k＝1,…,N_k}，其中ΔD(u,v)为真实深度值与步骤(2) 计算得到的深度值的最大误差,x_k为目标视图标准化设备坐标空间的坐标；

(4)对于步骤(3)采样的点x_k,利用神经网络Φ计算采样点的神经辐射场(c,σ)＝Φ(d,f)。其中，c和σ分别是点x_k的辐射和体密度，d是相机中心穿过像素点(u,v)的射线在3D空间中的方向；f是x_k投影在步骤(1)深度神经网络输入图片上的对应的图像特征的聚合；

(5)利用体渲染的公式聚合每一个像素点上所有采样点的神经辐射场(c,σ)，得到最终渲染出来的图片。

进一步地，利用均方误差损失函数实现对步骤(1)的深度神经网络、步骤(3)中的神经网络Φ进行监督。