[发明专利]基于图文语义的网络社交表情包合成方法、电子设备和计算机可读存储介质

说明书

本发明公开了一种基于图文语义的网络社交表情包合成方法、电子设备和计算机可读存储介质，所述方法包括以下步骤：步骤1，采集表情包图片，对其进行语义标注；步骤2，将语义标注转换为文本描述向量和词特征向量；步骤3，对词特征向量进行处理得到增广向量；步骤4，训练DetailGAN_j网络得到各增广向量对应的内容块；步骤5，对各内容块进行下采样得到联合向量，对联合向量进行处理得到增广向量；步骤6，利用增广向量训练JoinGAN网络，合成表情包图片；本发明能够利用较少的样本图片训练合成模型，用该模型合成的表情包图片与文本语义相似度较高，更加准确。

技术领域

本发明属于自然语言处理和计算机视觉技术领域，涉及一种基于图文语义的网络社交表情包合成方法、电子设备和计算机可读存储介质。

背景技术

随着互联网的发展和网络聊天工具的盛行，衍生出了一种新兴文化—表情包文化，网络表情包符合人类最本能的表达方式和情感需求，对互联网的视觉文化、群体认同与传播、话语体系更新都有着潜移默化的影响和推动，在社会减压方面起到了很大的积极作用，近几年来，斗图热度不断，用户规模持续走高，产业规模持续扩大，吸引着大量的资本和人才加盟。

近年来开发人员应市场需求开发了各种制图、斗图应用程序，各种制图、斗图工具多达数十种，但这些应用程序都千篇一律，大部分都是开发人员对已有表情包进行语义标注再存入表情库，用户通过检索或关键字匹配获得表情包，斗图仅限于检索，尚未得到突破，制图工具仅能提供简单的制作功能以供用户DIY定制个性表情包。

文本合成表情包是文本到图像合成的一大应用，是计算机视觉领域和自然语言处理领域的交叉领域，文本合成表情包的主要目标是生成高分辨率的和语义一致性的图像，目前现有的文本到图像合成框架仅能生成较高分辨率的图像，但在语义一致性上存在欠缺，合成的图像与文本语义相似度较低，准确性和拟合程度较差，对表情包市场的发展与推广存在较大限制。

发明内容

为了达到上述目的，本发明提供一种基于图文语义的网络社交表情包合成方法，使合成的表情包与文本语义相似度较高，图像的准确性更好，与文本的拟合程度更高。

为了达到上述目的，本发明还提供一种电子设备和计算机可读存储介质。

本发明所采用的技术方案是：基于图文语义的网络社交表情包合成方法，包括以下步骤：

步骤1，收集社交用户常用的网络社交表情包图片，将各表情包图片分为j个部分，对其进行语义标注，每条语义标注对应包括j个特征；

步骤2，使用中文词向量模型将各表情包图片的语义标注转化为文本描述向量，将语义标注中的j个特征分别转换为词特征向量；

步骤3，对各词特征向量进行条件增强得到条件增强向量，将条件增强向量与噪声向量合成j个特征对应的增广向量；

步骤4，利用各增广向量训练DetailGAN_j网络，生成表情包图片中各部分对应的内容块；

步骤5，对所述内容块进行下采样得到联合向量，对联合向量进行条件增强与增广得到增广向量；

步骤6，利用增广向量和文本描述向量训练JoinGAN网络，得到基于图文语义的表情包合成图片。

进一步的，所述步骤3中条件增强向量和增广向量的计算如下：

c_ij＝F_ca(e_ij)

f_caij＝F(N_Z,c_ij)