[发明专利]一种图像风格迁移模型训练方法、装置及电子设备

权利要求书

1.一种图像风格迁移模型训练方法，其特征在于，所述方法包括：

将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型，其中，所述图像风格迁移模型包括内容编码层和风格编码层；

通过所述内容编码层对所述样本源域图像和样本目标域图像进行特征提取，得到源内容张量和目标内容张量；

通过所述风格编码层对所述样本源域图像和样本目标域图像进行特征提取，得到源风格张量和目标风格张量；

通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的当前损失；

根据所述当前损失对所述待训练的图像风格迁移模型的参数进行调整，返回所述将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型的步骤继续执行，直至所述当前损失小于预设阈值，得到训练好的图像风格迁移模型；

所述通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的当前损失，包括：

通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的项目损失，其中，所述项目损失包括重构损失、潜在语义损失、循环重构损失、对抗损失、风格多样性损失和感知损失中的至少一种；

根据所述项目损失计算得到所述当前损失；

所述重构损失的计算方式包括：通过预设生成器，根据所述源内容张量和所述源风格张量计算得到源域域内重构图；通过预设生成器，根据所述目标内容张量和所述目标风格张量计算得到目标域域内重构图；根据所述源域域内重构图和所述目标域域内重构图，通过第一预设损失函数计算得到重构损失；

所述潜在语义损失的计算方式包括：通过预设生成器，根据所述源内容张量和所述目标风格张量计算得到源域生成图；通过预设生成器，根据所述目标内容张量和所述源风格张量计算得到目标域生成图；将所述目标域生成图输入所述内容编码层，得到重构目标内容张量；将所述目标域生成图输入所述风格编码层，得到重构目标风格张量；将所述源域生成图输入所述内容编码层，得到重构源内容张量；将所述源域生成图输入所述风格编码层，得到重构源风格张量；根据所述重构目标内容张量和所述重构目标风格张量，通过第二预设损失函数计算得到第二潜在语义损失；根据所述重构源内容张量和所述重构源风格张量，通过第二预设损失函数计算得到第一潜在语义损失；计算所述第一潜在语义损失和所述第二潜在语义损失之和，得到所述潜在语义损失；

所述循环重构损失的计算方式包括：通过预设生成器，根据所述重构源内容张量和所述重构源风格张量计算得到循环重构源域图；通过预设生成器，根据所述重构目标风格张量和所述重构目标内容张量计算得到循环重构目标域图；根据所述循环重构源域图和所述循环重构目标域图，通过第三预设损失函数计算得到所述循环重构损失；

所述对抗损失的计算方式包括：随机生成风格张量，得到第一随机风格张量；通过所述预设生成器，根据所述随机风格张量和所述源内容张量生成第一虚假源域图；通过所述预设生成器，根据所述随机风格张量和所述目标内容张量生成第一虚假目标域图；根据所述第一虚假目标域图和所述样本目标域图像，通过第四预设损失函数计算得到第二对抗损失；根据所述第一虚假源域图和所述样本源域图像，通过第四预设损失函数计算得到第一对抗损失；计算所述第一对抗损失和所述第二对抗损失之和，得到所述对抗损失；

所述风格多样性损失的计算方式包括：随机生成四种不同的风格张量，得到第二随机风格张量、第三随机风格张量、第四随机风格张量和第五随机风格张量；通过所述预设生成器，根据所述第二随机风格张量和所述源内容张量，生成第二虚假源域图；通过所述预设生成器，根据所述第三随机风格张量和所述源内容张量，生成第三虚假源域图；通过所述预设生成器，根据所述第四随机风格张量和所述目标内容张量，生成第二虚假目标域图；通过所述预设生成器，根据所述第五随机风格张量和所述目标内容张量，生成第三虚假目标域图；根据所述第二虚假源域图和所述第三虚假源域图，通过第五预设损失函数计算得到第一风格多样性损失；根据所述第二虚假目标域图和所述第三虚假目标域图，通过第五预设损失函数计算得到第二风格多样性损失；计算所述第一风格多样性损失和所述第二风格多样性损失之和，得到所述风格多样性损失；

所述感知损失的计算方式包括：根据所述样本源域图像、所述源域域内重构图、所述第一虚假源域图、所述循环重构源域图、所述样本目标域图像、所述目标域域内重构图、所述第一虚假目标域图和所述循环重构目标域图，通过第六预设损失函数计算得到所述感知损失。