[发明专利]一种自适应属性和实例掩码嵌入图的文本到图像生成方法

权利要求书

1.一种自适应属性和实例掩码嵌入图的文本到图像生成方法，其特征在于，所述方法包括以下步骤：

根据输入的文本，使用预设的编码器-解码器结构的边框回归网络来获得所述文本中每个单词对应的实例边界框的位置和标签信息，并整合所有实例生成的边界框的位置和标签信息，得到64×64、128×128及256×256语义布局；

根据64×64语义布局、句嵌入向量和随机噪声，在低分辨率生成器中获得粗粒度的图像潜在特征以及根据所述粗粒度的图像潜在特征对应生成的低分辨率的64×64图像；

根据128×128语义布局，在第一高分辨率生成器中通过预设的掩码回归网络计算得到全局实例掩码图以及根据所述全局实例掩码图被裁剪出的每一个实例的掩码嵌入图，并在第一高分辨率生成器中使用预设的实例级别的注意力机制沿通道维度对128×128语义布局的各种上下文信息进行编码，得到每一个实例的上下文向量，且进一步在第一高分辨率生成器中将所述每一个实例的上下文向量与其对应的掩码嵌入图组合，形成像素级特征向量；

根据128×128语义布局、所述粗粒度的图像潜在特征及所述像素级特征向量，在第一高分辨率生成器中获得第一细粒度的图像潜在特征以及根据所述第一细粒度的图像潜在特征对应生成的高分辨率的128×128图像；

根据256×256语义布局、所述第一细粒度的图像潜在特征及所述像素级特征向量，在第二高分辨率生成器中获得第二细粒度的图像潜在特征以及根据所述第二细粒度的图像潜在特征对应生成的高分辨率的256×256图像。

2.如权利要求1所述的自适应属性和实例掩码嵌入图的文本到图像生成方法，其特征在于，所述使用预设的编码器-解码器结构的边框回归网络来获得所述文本中每个单词对应的实例边界框的位置和标签信息的步骤具体包括：

首先，使用预训练的Bi-LSTM作为文本编码器，将所述文本编码为词向量和一个句向量其中，每个词均有两个隐藏状态，且每个词的两个隐藏状态级联，得到所有单词的一个特征矩阵；所述特征矩阵的每一列均代表每一个单词的特征向量；同时连接Bi-LSTM两个方向最后的隐层状态来获得句向量；

其次，采用LSTM作为解码器来得到每个单词对应的实例类标签l_t、坐标信息b_t，具体为：

类别标签l_t使用softmax函数计算，b_t采用高斯混合模型建模：

其中，e_t表示概率分布向量，和表示高斯混合模型中的参数，e_t和GMM参数均根据LSTM每个单元的第t步输出来计算，k是混合单元的数量；

最后，根据所述每个单词对应的实例类标签l_t、坐标信息b_t，得到每个单词对应实例的标签信息B_t＝(b_t,l_t)，并根据所述每个单词对应实例的标签信息B_t＝(b_t,l_t)，分别得到在64×64、128×128及256×256语义布局中每个实例边界框的位置；其中，四元组中(x,y,w,h)表示其坐标和宽高。

3.如权利要求1所述的自适应属性和实例掩码嵌入图的文本到图像生成方法，其特征在于，所述根据64×64语义布局、句嵌入向量和随机噪声，在低分辨率生成器中获得粗粒度的图像潜在特征以及根据所述粗粒度的图像潜在特征对应生成的低分辨率的64×64图像的步骤具体包括：

在低分辨率生成器中对64×64语义布局下采样，得到第一布局编码μ₀，并将所述第一布局编码、句嵌入向量和随机噪声送入预设的第一残差块后再进行上采样，得到粗粒度的图像潜在特征；

将所述粗粒度的图像潜在特征导入3×3卷积神经网络中，输出低分辨率的64×64图像。