[发明专利]一种基于深度引导采样的高效神经辐射场渲染方法

权利要求书

1.一种基于深度引导采样的高效神经辐射场渲染方法，其特征在于，该方法具体的步骤如下：

(1)获取N张待渲染视角附近的图片，通过深度神经网络提取得到N张图片特征{F_i|i＝1，...，N}，其中F_i为第i张图片的特征；记待渲染视角的图片为目标视图，获取的待渲染视角附近的图片为给定视图；

(2)利用给定视图计算目标视图的深度图像D，用D(u，v)表示目标视图上像素点(u，v)的深度值；

(3)对于目标视图上的一个像素点(u，v)，在其深度可能所处的区间[D(u，v)-ΔD(u，v)，D(u，v)+ΔD(u，v)]，采样N_k个点{x_k|k＝1，...，N_k}，其中ΔD(u，v)为真实深度值与步骤(2)计算得到的深度值的最大误差，x_k为从相机中心穿过像素点(u，v)的射线在上述深度区间上均匀采样的点；

(4)对于步骤(3)采样的点x_k，利用神经网络Φ计算采样点的神经辐射场(c，σ)＝Φ(d，f)；其中，c和σ分别是点x_k的辐射和体密度，d是相机中心穿过像素点(u，v)的射线在3D空间中的方向；f是x_k投影在步骤(1)深度神经网络输入图片上的对应的图像特征的聚合；

(5)利用体渲染的公式聚合每一个像素点上所有采样点的神经辐射场(c，σ)，得到最终渲染出来的图片。

2.根据权利要求1所述的一种基于深度引导采样的高效神经辐射场渲染方法，其特征在于，利用均方误差损失函数实现对步骤(1)的深度神经网络、步骤(4)中的神经网络Φ进行监督。

3.根据权利要求1所述的一种基于深度引导采样的高效神经辐射场渲染方法，其特征在于，步骤(2)中计算目标视图深度图像D的过程为先后构建两个代价体；第二个代价体的分辨率比第一个代价体的分辨率更高；构建过程如下：

在目标视图前，给定包含场景物体的范围，在此范围内均匀采样M′个平面{L_j′|j＝1，...，M′}，L′_j为第j个平面的深度；利用步骤(1)提取到的图片特征在每个深度平面上构建的以方差为代价的代价体；具体为，由第i张给定视图I_i的相机参数[K_i，R_i，t_i]和目标视图的相机参数[K，R，t]定义一个单应变换：其中n表示目标视图的相机中心轴，此单应变换H_i(z)将目标视图上一个像素点(u，v)在深度为z的情况下转换到第i张给定视图I_i上，插值求出转换后的像素点对应的特征F′_i，z(u，v)＝F_i(H_i(z)[u，v，1]^T)，其中F_i(H_i(z)[u，v，1]^T))为从图像特征F_i取出H_i(z)[u，v，1]^T对应像素点的特征；基于转换好的特征，代价体中每个元素的值定义为给定视图上特征{F′_i，z(u，v}|i＝1，...，N}的方差；将此代价体输入到基于3D卷积的神经网络中处理，得到一个深度的概率体P′，概率体P′的第j个平面P′_j在像素点(u，v)的概率代表了对应像素点上的深度落在此平面上的概率；像素点(u，v)的深度定义为M′个深度平面上概率分布的期望

根据上述步骤计算得到的深度D′，在深度范围[D′(u，v)-ΔD′(u，v)，D′(u，v)+ΔD′(u，v)]，采样M个深度平面{L_j|j＝1，...，M}，L_j(u，v)为像素点(u，v)在第j个平面的深度；利用步骤(1)提取到的图片特征在每个深度平面上构建以方差为代价的代价体；将此代价体输入到基于3D卷积的神经网络中处理，得到一个深度的概率体P，概率体P的第j个平面P_j在像素点(u，v)的概率代表了对应像素点上的深度落在此平面上的概率；像素点(u，v)的深度定义为M个深度平面上概率分布的期望