[发明专利]基于可微渲染的单张积云图像重建方法

权利要求书

1.一种基于可微渲染的单张积云图像重建方法，包括：

获取单张的自然积云图像，其中，所述自然积云图像是高分辨率的图像，所述自然积云图像是在固定摄像机角度下拍摄的图像；

通过编码-解码器结构的卷积神经网络确定图像的密度；

确定三维空间中积云结构的损失函数；

通过反向模型，确定等式中各变量梯度，并利用梯度优化算法对积云结构进行迭代更新；

将积云模型投影至二维平面，以生成深度图和轮廓图；

使用纹理生成网络，生成相应的积云图像；

其中，估计的积云体积密度分布在固定视角下投影到成像平面的轮廓与目标积云图像的轮廓相一致；

其中，轮廓的投影可形式化表示为的可微操作，V为三维积云体素，φ为相机视角，表示体素V在视角φ下的轮廓投影，为三维坐标到实数集的映射，表示三维积云体素中的体素单元是否在云体内部，若在云体内则该值为1，否则为0，体素单元的坐标表示为c＝(i，j，k)，在摄像机视角φ，体素V表示为V_φ(c)＝Φ(V，T_φ(c))，T_φ(c)表示体素单元c被旋转φ之后的坐标位置，Φ代表的是采样操作，Φ(V，c)表示根据提供的体素单元c的坐标采集体素V，采样操作是三线性采样操作或最近邻采样操作。

2.根据权利要求1所述的方法，其中，所述自然积云图像中包括单个积云，所述自然积云图像是在光线充足、噪声干扰较小且背景色单一的前提下拍摄的图像。

3.根据权利要求2所述的方法，其中，所述通过编码-解码器结构的卷积神经网络确定图像的密度，包括：

通过所述编码-解码器结构的卷积神经网络，确定所述自然积云图像的隐空间表达，以生成隐向量，其中，所述隐向量用于生成所述自然积云图像对应的积云体积密度分布。

4.根据权利要求3所述的方法，其中，所述确定三维空间中积云结构的损失函数，包括：

根据所述积云体积密度分布，确定真实图像的损失函数，其中，所述积云结构的损失函数如下：

L_shape(I)＝L_shape(I；S)＝||P(f(I))-S||²

其中，L_shape(I)表示积云结构的损失函数，I表示积云图像，f(I)表示经过编码-解码器的卷积神经网络得到的三维体模型，V表示积云的体积密度分布，S表示目标积云图像的轮廓，P(f(I))表示将三维体模型在固定视角下进行投影，投影后的轮廓与目标积云图像的轮廓得到的结果。

5.根据权利要求3所述的方法，其中，在所述通过反向模型，确定等式中各变量梯度，并利用梯度优化算法对积云结构进行迭代更新之前，所述方法还包括：

采用基于轮廓的体积损失函数，以图像的轮廓信息对积云提的生成提供约束。

6.根据权利要求5所述的方法，其中，所述将积云模型投影至二维平面，以生成深度图和轮廓图，包括：

通过构造一个可微的投影模块，将所述积云模型投影至二维平面，以投影得到积云对应的深度图和轮廓图。

7.根据权利要求6所述的方法，其中，所述使用纹理生成网络，生成相应的积云图像，包括：

将处理得到的深度图和轮廓图，作为所述纹理生成网络的输入，生成相应的积云图像，以实现积云渲染的目的。