[发明专利]图像生成模型的训练方法和设备以及图像生成方法和设备

权利要求书

1.一种交互式递增图像生成模型的训练方法，其特征在于，包括：

获取对话样本数据，所述对话样本数据包括对话文本数据、标准图像、图像描述文本和对话总轮数；

采用随机重放训练的方式，利用所述对话样本数据和预先训练的异构循环神经网络编码器，对交互式递增图像生成模型进行训练，以使所述交互式递增图像模型能够基于人机对话文本和图像描述文本生成具有交互递增性的图像；其中，基于在对话的最终时刻获得的所有对话文本数据以及在对话的中间时刻获得的所有对话文本数据，进行所述训练。

2.根据权利要求1所述的方法，其特征在于，所述训练包括

采用随机采样的方式，确定当前采用的对话轮数t，其中，2≤t≤T，T为所述对话总论数；

将所述图像描述文本和所述对话文本数据输入至所述异构循环神经网络编码器进行编码，并将编码最后输出的特征表示作为第一文本表示X′_T；将所述第一文本表示输入至交互式递增图像生成模型的图像生成器进行图像生成，得到第一图像Y′_T；

基于所述第一文本表示X′_T和所述第一图像Y′_T，利用所述交互式递增图像生成模型的判别器，计算主对抗损失；利用所述主对抗损失，更新所述交互式递增图像生成模型的图像生成器和判别器的累计梯度；所述主对抗损失包括图像生成器和判别器的损失函数值；

将所述图像描述文本和所述对话文本数据中的前t轮对话数据输入所述异构循环神经网络编码器进行编码，并将编码最后输出的特征表示作为第二文本表示X′_t；将所述第二文本表示输入至所述图像生成器进行图像生成，得到第二图像Y′_t；

将所述图像描述文本和所述对话文本数据中的前t-1轮对话数据输入所述异构循环神经网络编码器进行编码，并将编码最后输出的特征表示作为第三文本表示X′_t-1；将所述第三文本表示输入至所述图像生成器进行图像生成，得到第三图像Y′_t-1；

基于所述第二文本表示X′_t和所述第二图像Y′_t，构造第一正例；

基于所述第三文本表示X′_t-1和所述第三图像Y′_t-1，构造第二正例；

基于所述第一正例，利用所述判别器，计算第一辅对抗损失；基于所述第一辅对抗损失，更新所述图像生成器和所述判别器的累计梯度；所述第一辅对抗损失包括图像生成器和判别器的损失函数值；

基于所述第二正例，利用所述判别器，计算第二辅对抗损失；基于所述第二辅对抗损失，更新所述图像生成器和所述判别器的累计梯度；所述第二辅对抗损失包括图像生成器和判别器的损失函数值；

基于当前所述图像生成器的累计梯度，更新所述图像生成器的参数；基于当前所述判别器的累计梯度，更新所述判别器的参数。

3.根据权利要求2所述的方法，其特征在于，所述训练方法进一步包括：

基于所述第三文本表示X′_t-1和所述第二图像Y′_t，构造第一负例；

基于所述第二文本表示X′_t和所述第三图像Y′_t-1，构造第二负例；

所述计算第一辅对抗损失包括：

基于所述第一正例和所述第一负例，利用所述判别器，计算所述第一辅对抗损失；

所述计算第二辅对抗损失包括：

基于所述第二正例和所述第二负例，利用所述判别器，计算所述第二辅对抗损失。

4.根据权利要求2所述的方法，其特征在于，所述异构循环神经网络编码器的训练包括：

获取编码训练样本数据，所述编码训练样本数据包括标准样本图像的图像描述文本和视觉对话文本；

利用所述编码训练样本数据对异构循环神经网络编码器进行训练，使所述异构循环神经网络编码器能够将输入数据中视觉对话文本中的指代关系与图像描述文本中的对应内容相关联。