[发明专利]一种图像的生成方法、装置、存储介质及电子设备

权利要求书

1.一种图像的生成方法，其特征在于，所述方法包括：

获取待生成图像的描述文本；

将所述描述文本输入预先训练的第一模型，得到所述第一模型输出的所述描述文本对应的各目标图像；

针对每个目标图像，将该目标图像输入预先训练的第二模型，得到所述第二模型输出的该目标图像的图像特征；以及将所述描述文本输入所述预先训练的第二模型，得到所述第二模型输出的所述描述文本的文本特征；

根据所述各目标图像的图像特征与所述文本特征之间的相似度，确定最终目标图像。

2.如权利要求1所述的方法，其特征在于，获取待生成图像的描述文本，具体包括：

获取待生成图像的原始文本；

确定所述第一模型和/或所述第二模型的输入文本语种；

根据所述输入文本语种以及所述原始文本，确定所述待生成图像的描述文本。

3.如权利要求1所述的方法，其特征在于，得到所述第一模型输出的所述描述文本对应的各目标图像，具体包括：

使用TensorRT对所述预先训练的第一模型进行加速，通过加速运行的所述第一模型，得到所述第一模型输出的所述描述文本对应的各目标图像。

4.如权利要求3所述的方法，其特征在于，在使用TensorRT对所述预先训练的第一模型进行加速之前，所述方法还包括：

将所述预先训练的第一模型中的参数转换为所述TensorRT的参数格式。

5.如权利要求1所述的方法，其特征在于，将所述描述文本输入预先训练的第一模型，具体包括：

获取待生成图像的图像风格；

确定与所述图像风格对应的提示文本；

将所述提示文本与所述描述文本输入预先训练的第一模型。

6.如权利要求1所述的方法，其特征在于，将所述描述文本输入预先训练的第一模型，得到所述第一模型输出的所述描述文本对应的各目标图像，具体包括：

获取至少两个所述第一模型的随机种子；其中，所述随机种子用于使得所述第一模型生成目标图像；

针对每个随机种子，将该随机种子与所述描述文本输入所述第一模型，使得所述第一模型根据该随机种子初始化噪声图像，并根据所述噪声图像以及所述描述文本得到该随机种子对应的目标图像。

7.如权利要求1所述的方法，其特征在于，所述第二模型中至少包括：文本编码器和图像编码器；

将该目标图像输入预先训练的第二模型，得到所述第二模型输出的该目标图像的图像特征，具体包括：

将该目标图像输入所述图像编码器，得到所述图像编码器输出的该目标图像的图像特征；

将所述描述文本输入所述预先训练的第二模型，得到所述第二模型输出的所述描述文本的文本特征，具体包括：

将所述描述文本输入所述文本编码器，得到所述文本编码器输出的所述描述文本的文本特征。

8.如权利要求1所述的方法，其特征在于，所述第一模型为稳定扩散模型；

所述第二模型为对比文本图像模型。

9.如权利要求1所述的方法，其特征在于，根据所述各目标图像的图像特征与所述文本特征之间的相似度，确定最终目标图像，具体包括：

将各相似度中最大的相似度对应的目标图像作为最终目标图像。

10.一种图像的输出装置，其特征在于，所述装置具体包括：

文本获取模块，用于获取待生成图像的描述文本；

第一输入模块，用于将所述描述文本输入预先训练的第一模型，得到所述第一模型输出的所述描述文本对应的各目标图像；

第二输入模块，用于针对每个目标图像，将该目标图像输入预先训练的第二模型，得到所述第二模型输出的该目标图像的图像特征；以及将所述描述文本输入所述预先训练的第二模型，得到所述第二模型输出的所述描述文本的文本特征；

图像确定模块，用于根据所述各目标图像的图像特征与所述文本特征之间的相似度，确定最终目标图像。