[发明专利]基于少量样本生成的任意风格和内容的迁移方法和系统

权利要求书

1.一种基于少量样本生成的任意风格和内容的迁移方法，其特征在于包括：

风格特征提取步骤：对风格参考图像，使用第一深度卷积神经网络提取图像的风格特征；

内容特征提取步骤：对内容参考图像，使用第二深度卷积神经网络提取图像的内容特征；

风格和内容特征结合步骤：对所述风格特征提取步骤得到的风格特征和所述内容特征提取步骤得到的内容特征通过双线性模型相结合，得到目标图像的特征；

目标图像生成步骤：对所述风格和内容特征结合步骤得到的目标图像的特征进行反卷积生成目标图像；

所述风格和内容特征结合步骤，其中：所述双线性模型是一种两因素模型，它具有的数学属性是固定其中一个因素，模型的输出对另一个因素来说是线性的，它能够灵活地将两个因素分离或者结合起来；

所述通过双线性模型相结合，公式如下：

F_ij＝S_iWC_j

其中，S_i代表风格特征，是一个R维的向量，C_j代表内容特征，是一个B维的向量，W是一个R×K×B维的张量，F_ij是目标图像的特征，是一个K维的向量，代表风格为S_i内容为C_j的图像的特征；结合时，由风格参考集得到的风格特征和由内容参考集得到的内容特征按照此公式进行结合得到目标图像的特征；

所述风格特征提取步骤，其中：利用第一深度卷积神经网络模型，将风格参考集里的少量风格参考图像在图像通道维度上结合起来，一起输入风格特征提取步骤，学习参考图像中共同的部分，即图像的风格，得到风格特征；所述风格参考集是同种风格不同内容的图像，风格参考集给风格特征提取步骤提供要生成的风格的信息；

所述内容特征提取步骤，其中：利用第二深度卷积神经网络模型，将内容参考集里的少量内容参考图像在图像通道维度上结合起来，一起输入内容特征提取步骤，学习参考图像中共同的部分，即图像的内容，得到内容特征；所述内容参考集是同一内容不同风格的图像，内容参考集给内容特征提取步骤提供要生成的内容的信息；

所述目标图像生成步骤，其中：将风格和内容特征结合步骤得到的目标图像的特征输入反卷积神经网络，生成目标图像，生成的目标图像与真实的目标图像通过损失函数进行比较；所述目标图像生成步骤，具体如下：

在训练阶段，在每次迭代中，首先定义训练的目标图像集D_t，即想要生成的目标图像集合；为了给每个目标图像I_ij∈D_t提供参考图像，以确定所要生成的目标风格S_i和目标内容C_j，从训练集中为每个目标图像随机选取k张风格参考图像组成风格参考集R_si，随机选取k张内容参考图像组成内容参考集R_cj，然后以风格参考图像，内容参考图像，目标图像三元组的形式进行训练，其中风格参考图像和内容参考图像分别输入风格特征提取步骤和内容特征提取步骤得到风格特征和内容特征。