[发明专利]基于图文语义的网络社交表情包合成方法、电子设备和计算机可读存储介质

权利要求书

1.基于图文语义的网络社交表情包合成方法，其特征在于，包括以下步骤：

步骤1，收集社交用户常用的网络社交表情包图片，将各表情包图片分为j个部分，对其进行语义标注，每条语义标注对应包括j个特征；

步骤2，使用中文词向量模型将各表情包图片的语义标注转化为文本描述向量，将语义标注中的j个特征分别转换为词特征向量；

步骤3，对各词特征向量进行条件增强得到条件增强向量，将条件增强向量与噪声向量合成j个特征对应的增广向量；

步骤4，利用各增广向量训练DetailGAN_j网络，生成表情包图片中各部分对应的内容块；训练DetailGAN_j网络时，将j个特征对应的增广向量分别作为生成器G_j的输入，生成表情包图片中各部分对应的内容块，将各内容块和真实表情包图片的各部分作为判别器D_j的输入，以判别器损失函数最大化、生成器损失函数最小化为目标训练得到DetailGAN_j网络；所述生成器损失函数与判别器损失函数如下：

其中分别为第j个判别器D_j的损失函数、第j个生成器G_j的损失函数，x_Dij、t_ij分别为第i幅表情包图片中第j个部分的图片及其特征，p_dataij为第i幅表情包图片中第j部分的真实数据分布，表示x_Dij、t_ij均采样于p_dataij，表示生成器G_j的训练图像Z_j采样于噪声P_Z、t_ij采样于p_dataij，e_ij为第i幅表情包图片中第j个特征生成的词特征向量，f_caij为c_ij的增广向量，N(μ(e_ij),∑₀(e_ij))是均值为μ(e_ij)、对角方差矩阵为∑₀(e_ij)的标准高斯分布，N(0,x_Dij)是均值为0、对角方差矩阵为x_Dij的条件高斯分布，D_KL为标准高斯分布N(μ(e_ij),∑₀(e_ij))与条件高斯分布N(0,x_Dij)的KL散度，λ为平衡标准高斯分布N(μ(e_ij),∑₀(e_ij))与条件高斯分布N(0,x_Dij)的正则化参数；

步骤5，对所述内容块进行下采样得到联合向量，对联合向量进行条件增强与增广得到增广向量；

步骤6，利用增广向量和文本描述向量训练JoinGAN网络，得到基于图文语义的表情包合成图片；训练JoinGAN网络时，将增广向量与文本描述向量作为生成器G的输入生成表情包图片将表情包图片和真实表情包图片x共同作为判别器D的输入，以判别器损失函数L_D最大化、生成器损失函数L_G最小化为目标训练JoinGAN网络；所述判别器损失函数L_D、生成器损失函数L_G如下：

其中L_D、L_G分别为判别器D的损失函数、生成器G的损失函数，x_i、T_i分别为第i幅真实表情包图片及其语义标注，p_datai为第i幅表情包图片的真实数据分布，表示x_i、T_i均采样于p_datai，表示联合向量采样于DetailGAN_j网络生成的表情包图片、T_i采样于p_datai，为第i幅表情包图片的文本描述向量，f_ca为c的增广向量，表示均值为对角方差矩阵为的标准高斯分布，N(0,x_i)为均值为0、对角方差矩阵为x_i的条件高斯分布，D′_KL为与N(0,x_i)的KL散度，λ′为平衡与N(0,x_i)的正则化参数。