[发明专利]一种语义结构一致的图像内容转换方法

权利要求书

1.一种语义结构一致的图像内容转换方法，其特征在于，包括以下步骤：

1)收集训练数据，所述训练数据是指成对的图像，包括源图像和目标图像，源图像和目标图像一一对应，语义结构上保持一致；

2)对训练数据进行预处理，构建转换模型，包括编码器和生成器；

3)使用编码器下采样经过预处理的源图像，获取潜在编码；

4)使用生成器上采样潜在编码，上采样过程中通过动态感受野自适应融合多尺度信息，生成虚假的目标图像；其中，所述生成器包含上采样网络层、特征处理模块和输出层，所述生成器将编码器输出的潜在编码上采样，并在上采样过程中通过动态感受野自适应融合多尺度信息，处理方式为：

式中，表示编码器输出的潜在编码，表示生成器中第i层上采样网络层输出的特征，表示生成器中第i-1层上采样网络层输出的特征，表示编码器中第(n-i+1)层上采样网络层输出的特征，⊙表示沿张量的维度进行拼接，表示生成器中第i层上采样网络层使用的转置卷积，表示生成器中第i层上采样网络层使用的归一化方式，表示生成器中第i层上采样网络层使用的激活函数，i∈{1,2,3,...,n}，n表示生成器中总的上采样网络层数，m表示编码器中总的下采样网络层数，d_G表示生成器中的特征处理模块，表示编码器中输入层输出的特征，表示生成器中输出层使用的转置卷积，表示生成器中输出层使用的激活函数，I_F表示虚假的目标图像；其中，d_G对特征的处理方式为：

式中，表示生成器的上采样网络层中d_G输入的特征，s_d表示通过动态感受野自适应融合多尺度信息的模块，s_d在d_G中提取和融合多尺度信息，表示d_G中第j次特征处理使用的归一化方式，表示d_G中第j次特征处理使用的激活函数，表示d_G中第j次特征处理使用的卷积，表示d_G中第j次特征处理输出的特征，表示d_G中第j-1次特征处理输出的特征，j∈{1,2}，表示d_G中的残差连接使用的激活函数，表示d_G输出的特征；其中，s_d通过动态感受野自适应融合多尺度信息的方式包含以下步骤：

4.1)使用不同感受野的卷积获取多尺度信息：

式中，表示s_d输入的特征，表示s_d中第k个卷积分支使用感受野大小为c的卷积，表示s_d中第k个卷积分支使用的归一化方式，表示s_d中第k个卷积分支使用的激活函数，表示s_d中第k个卷积分支输出的特征，包含在感受野大小为c的卷积上获取的尺度信息，p表示s_d中的卷积分支的数量，k∈{1,2,3,...,p}，q表示s_d中卷积分支中感受野的大小，c∈{1,3,5,...,q}；

4.2)使用全局平均池化统计p个卷积分支输出特征的全局变化：

式中，GAP表示全局平均池化，表示s_d中第p个卷积分支以感受野大小为q的卷积获取的特征，W_s表示全局变化的张量；

4.3)使用W_s计算自适应选择权重：

式中，n_s表示对W_s进行降维使用的归一化方式，f_s表示对W_s进行降维使用的激活函数，表示计算s_d中第k个卷积分支的选择权重时使用的卷积，f_w表示计算选择权重使用的激活函数，表示s_d中第k个卷积分支的选择权重，表示不同尺度信息融合的特征，表示s_d中第p个卷积分支的选择权重，通过控制中尺度信息的转换程度，使s_d获得动态感受野；

5)构建判别器，使用虚假的目标图像，经过预处理的源图像和经过预处理的目标图像通过判别器构建损失函数；

6)通过训练使损失函数收敛获取参数最优的转换模型，使用参数最优的转换模型能够转换与训练数据中源图像同类的图像。