[发明专利]图像生成方法、训练方法、装置、电子设备以及存储介质

说明书

本公开提供了图像生成方法、训练方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙等场景。具体实现方案为：根据预设视角射线中的采样点，以及与预设视角射线对应的预设视角方向，确定与目标对象相关的对象表面特征，预设视角射线为基于预设位置沿着预设视角方向辐射的射线，预设视角方向为从预设位置朝向目标对象的方向；根据与目标对象相关的描述文本，以及对象表面特征，生成表征目标对象的目标图像。

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙等场景。

背景技术

随着人工智能技术的快速发展，在游戏制作、动画制作、元宇宙构建等场景中，可以基于深度学习算法、计算机视觉技术等图像生成方法来实现快速地生成满足场景需求或者艺术创作需求的二维图像或三维图像，以提升构建得到的游戏、动画、元宇宙等场景的真实度与生动程度。

发明内容

本公开提供了一种图像生成方法、训练方法、装置、电子设备、存储介质以及计算机程序产品。

根据本公开的一方面，提供了一种图像生成方法，包括：根据预设视角射线中的采样点，以及与预设视角射线对应的预设视角方向，确定与目标对象相关的对象表面特征，预设视角射线为基于预设位置沿着预设视角方向辐射的射线，预设视角方向为从预设位置朝向目标对象的方向；根据与目标对象相关的描述文本，以及对象表面特征，生成表征目标对象的目标图像。

根据本公开的另一方面，提供了一种深度学习模型的训练方法，包括：获取训练样本，训练样本包括样本数据和样本标签，样本数据包括样本预设视角射线中的样本采样点、与样本预设视角射线对应的样本预设视角方向和与样本目标对象相关的样本描述文本，样本预设视角射线为基于样本预设位置沿着样本预设视角方向辐射的射线，样本预设视角方向为从样本预设位置朝向样本目标对象的方向，样本标签包括与样本预设视角方向对应的标签图像，标签图像与样本目标对象相关；将样本采样点和样本预设视角方向输入至深度学习模型的对象表面特征检测网络，输出与样本目标对象相关的样本初始对象表面特征；将样本描述文本和初始对象表面特征输入至深度学习模型的图像生成网络，输出样本图像；以及根据样本图像和标签图像训练深度学习模型，得到训练后的深度学习模型。

根据本公开的另一方面，提供了一种图像生成装置，包括：对象表面特征确定模块，用于根据预设视角射线中的采样点，以及与预设视角射线对应的预设视角方向，确定与目标对象相关的对象表面特征，预设视角射线为基于预设位置沿着预设视角方向辐射的射线，预设视角方向为从预设位置朝向目标对象的方向；目标图像生成模块，用于根据与目标对象相关的描述文本，以及对象表面特征，生成表征目标对象的目标图像。

根据本公开的另一方面，提供了一种深度学习模型的训练装置，包括：训练样本获取模块，用于获取训练样本，训练样本包括样本数据和样本标签，样本数据包括样本预设视角射线中的样本采样点、与样本预设视角射线对应的样本预设视角方向和与样本目标对象相关的样本描述文本，样本预设视角射线为基于样本预设位置沿着样本预设视角方向辐射的射线，样本预设视角方向为从样本预设位置朝向样本目标对象的方向，样本标签包括与样本预设视角方向对应的标签图像，标签图像与样本目标对象相关；样本初始对象表面特征获得模块，用于将样本采样点和样本预设视角方向输入至深度学习模型的对象表面特征检测网络，输出与样本目标对象相关的样本初始对象表面特征；样本图像获得模块，用于将样本描述文本和初始对象表面特征输入至深度学习模型的图像生成网络，输出样本图像；以及训练模块，用于根据样本图像和标签图像训练深度学习模型，得到训练后的深度学习模型。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开实施例提供的方法。