[发明专利]基于辐射场和生成对抗的图像生成方法、装置和存储介质

说明书

本申请涉及一种基于辐射场和生成对抗的图像生成方法、装置和存储介质，用于解决现有技术中人工搜集车辆样本图片的效率较低，速度较慢的技术问题。该方法包括：获取初始图像，将初始图像输入至辐射场神经网络中提取初始图像的特征信息，并根据特征信息生成多个不同视觉域或不同视角下的特征图像；其中特征信息包括所述初始图像中每个像素点的位置信息和观测所述初始图像的观测方向信息；将特征图像输入至上采样网络中进行上采样，生成并输出符合预设分辨率的目标图像；使用鉴别器判断上采样图像是否为实像，根据判断结果调整所述辐射场神经网络生成的损失函数，并通过损失函数约束辐射场神经网络和上采样网络后续生成的目标图像。

技术领域

本发明涉及图像处理领域，尤其是一种基于辐射场和生成对抗的图像生成方法、装置和存储介质。

背景技术

随着社会的发展，机动车的数量不断上升，交管部门的人力在面对数量庞大、种类繁多的机动车辆时已然捉襟见肘，智能化的交通系统成为了社会和交管部门的必要需求。现有的智能化的交通系统依赖于机器学习，虽然机器学习能够大大提高车辆识别的精度，但同时其识别精度和机器学习过程中的训练样本的数量息息相关，当训练样本较少时，机器学习的效果较差，对车辆识别的精度较低。

由于技术发展，机动车辆的更迭速度也在不断提升，机动车辆的种类也在不断增加，而单纯的依靠人工去搜集车辆样本图片相比之下效率较低而且速度较慢，无法满足机器学习对于训练样本的需求。

鉴于此，如何快速高效的获取车辆样本图片成为了一个亟待解决的技术问题。

发明内容

本发明提供一种基于辐射场和生成对抗的图像生成方法、装置和存储介质，用以解决现有技术中人工搜集车辆样本图片的效率较低，速度较慢的技术问题。

第一方面，为解决上述技术问题，本发明实施例提供的一种基于辐射场和生成对抗的图像生成方法的技术方案如下：

获取初始图像，将所述初始图像输入至辐射场神经网络中提取所述初始图像的特征信息，并根据所述特征信息生成多个不同视觉域或不同视角下的特征图像；其中所述特征信息包括所述初始图像中每个像素点的位置信息和观测所述初始图像的观测方向信息；

将所述特征图像输入至上采样网络中进行上采样，生成并输出符合预设分辨率要求的目标图像；

使用鉴别器判断所述上采样图像是否为实像，根据判断结果调整所述辐射场神经网络的损失函数，并通过所述损失函数约束所述辐射场神经网络和所述上采样网络后续生成的目标图像。

一种可能的实施方式，根据所述特征信息生成多个不同视觉域或不同视角下的特征图像，包括：

从编码器或映射网络中获取域编码，从所述特征信息中提取外观编码和形状编码，将所述域编码、所述外观编码和形状编码作为条件编码输入至所述辐射场神经网络中，获得受到所述条件编码约束的条件辐射场神经网络；

提取所述特征信息中的位置数据和观测方向数据，输入到所述条件辐射场神经网络中进行预测，获得和所述初始图像中各像素点在三维空间中对应的体素的密度信息和颜色信息；

将所述密度信息和所述颜色信息输入体绘制算法中，生成对应的特征图像。

一种可能的实施方式，从编码器或映射网络中获取域编码，包括：

将所述初始图像输入到所述编码器中，所述编码器提取出所述初始图像在对应的视觉域中的域编码作为所述域编码；

或者，将随机码输入到所述映射网络中，通过所述映射网络获取所述随机码映射的域编码作为所述域编码；其中所述随机码为随机生成的编码。

一种可能的实施方式，提取所述特征信息中的位置数据和观测方向数据，输入到所述条件辐射场神经网络中进行预测，获得和所述初始图像中各像素点在三维空间中对应的体素的密度信息和颜色信息，包括：