[发明专利]一种图像的生成方法、装置、存储介质及电子设备

说明书

本说明书公开了一种图像的生成方法、装置、存储介质及电子设备，首先可获取待生成图像的描述文本，将描述文本输入预先训练的第一模型，得到第一模型输出的描述文本对应的各目标图像。然后针对每个目标图像，将该目标图像输入预先训练的第二模型，得到第二模型输出的该目标图像的图像特征，以及将描述文本输入预先训练的第二模型，得到第二模型输出的描述文本的文本特征。最后，根据各目标图像的图像特征与文本特征之间的相似度，确定最终目标图像。该方法可根据描述文本生成多张图像，并在生成的多张图像中确定出与描述文本最相符的图像，避免了单一图像的生成带来的图像质量低下的问题，使得生成的图像质量更高，图像与文本描述更一致。

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像的生成方法、装置、存储介质及电子设备。

背景技术

随着科技的发展，机器学习的应用越来越广泛。其中，在图像生成领域，机器学习模型为图像的生成做出了巨大贡献。

目前，可以将一些描述文本输入图像生成软件，得到与描述文本对应的图像。一般的，这些图像生成软件中部署有图像生成模型，例如：稳定扩散模型（Stable DiffusionModels，SDMs），潜在扩散模型（Latent Diffusion Models，LDMs）。进而在用户使用该图像生成软件时，可将文本输入该图像生成软件，然后通过该软件内的图像生成模型得到一张与文本相符的图像。例如：用户输入文本为：“A Persian cat with blue eyes and whitehair”，则该图像生成软件可输出一张拥有蓝色眼睛与白色毛发的波斯猫的图像。显然，如何生成与文本描述的内容一致的图像是一个至关重要的问题。

基于此，本申请说明书提供了一种图像的生成方法。

发明内容

本说明书提供一种图像的生成方法、装置、存储介质及电子设备，以至少部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种图像的生成方法，所述方法包括：

获取待生成图像的描述文本；

将所述描述文本输入预先训练的第一模型，得到所述第一模型输出的所述描述文本对应的各目标图像；

针对每个目标图像，将该目标图像输入预先训练的第二模型，得到所述第二模型输出的该目标图像的图像特征；以及将所述描述文本输入所述预先训练的第二模型，得到所述第二模型输出的所述描述文本的文本特征；

根据所述各目标图像的图像特征与所述文本特征之间的相似度，确定最终目标图像。

可选地，获取待生成图像的描述文本，具体包括：

获取待生成图像的原始文本；

确定所述第一模型和/或所述第二模型的输入文本语种；

根据所述输入文本语种以及所述原始文本，确定所述待生成图像的描述文本。

可选地，得到所述第一模型输出的所述描述文本对应的各目标图像，具体包括：

使用TensorRT对所述预先训练的第一模型进行加速，通过加速运行的所述第一模型，得到所述第一模型输出的所述描述文本对应的各目标图像。

可选地，在使用TensorRT对所述预先训练的第一模型进行加速之前，所述方法还包括：

将所述预先训练的第一模型中的参数转换为所述TensorRT的参数格式。

可选地，将所述描述文本输入预先训练的第一模型，具体包括：

获取待生成图像的图像风格；

确定与所述图像风格对应的提示文本；

将所述提示文本与所述描述文本输入预先训练的第一模型。

可选地，将所述描述文本输入预先训练的第一模型，得到所述第一模型输出的所述描述文本对应的各目标图像，具体包括：