[发明专利]一种一体化的条件图像重绘方法及装置

权利要求书

1.一种一体化的条件图像重绘方法，其特征在于，包括以下步骤：

S1、颜色条件x^c首先被编码并且在几何条件x^g的指导下进行广播，处理后的特征表示为e^gc，随后对处理后的特征e^gc进行卷积，得到隐层特征h作为生成网络F^G的原始输入；生成网络F^G由卷积层和FABN模块堆叠构成，FABN模块中还包含CMCFM模块进行模态融合；

S2、纹理条件z、几何条件x^g和背景条件y^b通过FABN模块在生成网络F^G的中间注入，在FABN模块中，几何条件x^g、背景条件y^b和隐层特征h首先在CMCFM模块中进行融合，随后通过卷积生成两个可学习的外表参数β^a和γ^a，同时，纹理条件z也生成两个可学习的模式参数β^p和γ^p；

S3、采用步骤S2生成的外表参数β^a和γ^a以及模式参数β^p和γ^p调制经过批归一化处理后的隐层特征h，经过多层修正，最后生成重绘图像。

2.根据权利要求1所述的一体化的条件图像重绘方法，其特征在于，步骤S1采用HCMSM模型实现；HCMSM模型包括两个编码器以及一个基于多粒度注意力的相似度损失函数，图像编码器含有n组的组卷积网络，m个不同的中间层捕捉m层的特征作为输出；文本编码器由m个编码器单元组成，并且用不同的语义层表示文本属性，通过元素级的累加，不同的单元被连接起来并组成一个多层结构。

3.根据权利要求2所述的一体化的条件图像重绘方法，其特征在于，步骤S1采用HCMSM模型实现的实现过程为：图像编码器首先将合成图像按照几何条件x^g的指导分割成n个不同的类别区域，记做(y′₀，y′₁，...，y′_0-1)；随后将各部分类别区域分别注入到n组的组卷积网络(G₀，G₁，...，G_n)中，其中每个组卷积对应每个类别区域；通过提取m个中间层特征来挖掘不同粒度的语义信息，表示为其中i∈{0，...，m-1}，j∈{0，...，n-1}，Q为特征维度，H为图像高度，W为图像宽度；每个编码单元对颜色条件x^c进行单独编码，记为其中i∈{0，...，m-1}；颜色属性与图像类别区域的相关性矩阵为：N_c为文本属性的数量，N_g为重绘区域中切分的部分数目；将编码后的属性映射到相应的图像类别区域中，得到最终通过加法得到第(i+1)层的特征

4.根据权利要求2所述的一体化的条件图像重绘方法，其特征在于，多粒度基于注意力的相似度损失函数为：

其中，E_i，t为第t个样本中第i层的颜色特征，Y_i，t为第t个样本中第i层的图像特征，P(E_i，t|Y_i，t)为E_i，t和Y_i，t匹配的后验概率，m为文本编码单元个数，T为一个批次中的样本总数。

5.根据权利要求1所述的一体化的条件图像重绘方法，其特征在于，步骤S2的FABN模块中，几何条件x^g被卷积并且作为一种门控来混合重绘隐层特征h和背景条件y^b。