[发明专利]基于辐射场和生成对抗的图像生成方法、装置和存储介质

权利要求书

1.一种基于辐射场和生成对抗的图像生成方法，其特征在于，包括：

获取初始图像，将所述初始图像输入至辐射场神经网络中提取所述初始图像的特征信息，并根据所述特征信息生成多个不同视觉域或不同视角下的特征图像；其中所述特征信息包括所述初始图像中每个像素点的位置信息和观测所述初始图像的观测方向信息；

将所述特征图像输入至上采样网络中进行上采样，生成并输出符合预设分辨率要求的目标图像；

使用鉴别器判断所述目标图像是否为实像，根据判断结果调整所述辐射场神经网络的损失函数，并通过所述损失函数约束所述辐射场神经网络和所述上采样网络后续生成的目标图像。

2.如权利要求1所述的方法，其特征在于，根据所述特征信息生成多个不同视觉域或不同视角下的特征图像，包括：

从编码器或映射网络中获取域编码，从所述特征信息中提取外观编码和形状编码，将所述域编码、所述外观编码和形状编码作为条件编码输入至所述辐射场神经网络中，获得受到所述条件编码约束的条件辐射场神经网络；

提取所述特征信息中的位置数据和观测方向数据，输入到所述条件辐射场神经网络中进行预测，获得和所述初始图像中各像素点在三维空间中对应的体素的密度信息和颜色信息；

将所述密度信息和所述颜色信息输入体绘制算法中，生成对应的特征图像。

3.如权利要求2所述的方法，其特征在于，从编码器或映射网络中获取域编码，包括：

将所述初始图像输入到所述编码器中，接收所述编码器提取出的所述初始图像在对应的视觉域中的域编码；或者，将随机码输入到所述映射网络中，通过所述映射网络获取所述随机码映射的域编码；其中所述随机码为随机生成的编码。

4.如权利要求2所述的方法，其特征在于，提取所述特征信息中的位置数据和观测方向数据，输入到所述条件辐射场神经网络中进行预测，获得和所述初始图像中各像素点在三维空间中对应的体素的密度信息和颜色信息，包括：

将所述初始图像对应的场景划分为前景和背景，将处于所述前景中的像素点对应的所述位置数据和所述观测方向数据输入到前景网络进行预测，生成和所述前景中的像素对应的体素的前景密度信息和前景颜色信息；其中，所述前景网络为所述条件辐射场神经网络中用于处理所述初始图像中前景对应的位置数据和观测方向数据的部分；

将处于所述背景中的像素对应的所述位置数据和所述观测方向数据输入到背景网络进行预测，生成和所述背景中的像素对应的体素的背景密度信息和背景颜色信息；其中，所述背景网络为所述条件辐射场神经网络中用于处理所述初始图像中背景对应的位置数据和观测方向数据的部分，所述背景网络和所述前景网络使用不同的外观编码和形状编码作为条件编码进行约束，所述前景密度信息和所述背景密度信息均属于所述密度信息，所述前景颜色信息和所述背景颜色信息均属于所述颜色信息。

5.如权利要求4所述的方法，其特征在于，将所述密度信息和所述颜色信息输入体绘制算法中，生成对应的特征图像，包括：

按照所述像素点对应的场景，使用前景采样点或背景采样点对所述像素点进行采样；其中所述前景采样点和所述背景采样点的采样深度不同；

对在所述前景中的像素点按照所述前景采样点进行采样，根据所述前景密度信息和前景颜色信息计算所述前景采样点对应的前景颜色向量集和前景密度向量集；

对在所述背景中的像素点按照所述背景采样点进行采样，根据所述背景密度信息和背景颜色信息计算所述背景采样点对应的背景颜色向量集和背景密度向量集；将所述前景颜色向量集、所述前景密度向量集、所述背景颜色向量集和所述背景密度向量集映射至对应的像素点上，获得所述对应的像素点的最终特征向量；

将所述初始图像中所有像素点对应的最终特征向量输入至所述体绘制算法中进行计算，获得所述初始图像对应的特征图像。

6.如权利要求1、2或5所述的方法，其特征在于，将所述特征图像输入至上采样网络中进行上采样，生成并输出符合预设分辨率要求的目标图像，包括：

在所述上采样网络中对所述特征图像进行上采样，增加上采样后的图像的分辨率；

当上采样后的图像的分辨率等于预设分辨率时，将所述上采样后的图像输出为所述目标图像。