[发明专利]交互式图像编辑方法、装置、可读存储介质及电子设备

说明书

一种交互式图像编辑方法、装置、可读存储介质及电子设备，该方法包括：对原始图像进行属性特征提取，得到图像属性特征；对所述原始图像对应的描述性文本进行上下文语义的词嵌入与编码得到文本特征；对所述图像属性特征与文本特征进行融合，得到融合特征；提取所述原始图像的整体结构特征；将所述整体结构特征与所述融合特征做空间注意力融合处理，得到被编辑区域的修正结构特征；对被编辑区域的修正结构特征做非编辑区域的结构特征补全，得到修正后的整体结构特征；将修正后的整体结构特征输入至生成器中，以使所述生成器基于融合特征指导，生成与所述描述性文本匹配的图像。

技术领域

本发明涉及图像编辑领域，特别是涉及一种交互式图像编辑方法、装置、可读存储介质及电子设备。

背景技术

基于文本描述的交互式图像编辑旨在通过一段文本描述实现对图像的交互式编辑。文本语言是人类最为重要和普遍的交流方式之一，利用文本语言描述来实现对图像的交互编辑是现代人工智能在图像处理领域的一个重要研究方向。

尽管现有方法在基于文本描述的图像交互编辑问题上取得了一定进展，可以初步理解文本描述中的编辑意图，但如何保障编辑的空间注意力与文本注意力的联合一致性、与非编辑区域的解耦仍是主要难点。

目前已有的基于文本的图像编辑方法主要通过编码器分别将文本信息与图像数据编码到隐变量语义流形空间中，在高水平的语义流形空间，利用文本信息编码和图像语义属性编码的组合和运算，实现文本信息引导的交互式编辑，最终通过解码器生成编辑结果。此类方法主要为文本到图像生成任务的延伸，缺乏对编辑与非编辑区域的界定与约束，生成结果大多在非编辑区域会发生较明显的变化，导致编辑后的图像质量不高。

发明内容

鉴于上述状况，有必要针对现有技术中基于文本的图像编辑方法，其编辑后的图像质量不高的问题，提供一种交互式图像编辑方法、装置、可读存储介质及电子设备。

一种交互式图像编辑方法，包括：

对原始图像进行属性特征提取，得到图像属性特征；

对所述原始图像对应的描述性文本进行上下文语义的词嵌入与编码得到文本特征；

对所述图像属性特征与文本特征进行融合，得到融合特征；

提取所述原始图像的整体结构特征；

将所述整体结构特征与所述融合特征做空间注意力融合处理，得到被编辑区域的修正结构特征；

对被编辑区域的修正结构特征做非编辑区域的结构特征补全，得到修正后的整体结构特征；

将修正后的整体结构特征输入至生成器中，以使所述生成器基于融合特征指导，生成与所述描述性文本匹配的图像。

进一步的，上述交互式图像编辑方法，其中，所述对原始图像进行属性特征提取，得到图像属性特征的步骤包括：

将原始图像输入至图像属性编码器中，以使所述图像属性编码器利用Inception-v3编码抽取其最后一层向量输出得到全局属性特征；

将全局属性特征作为所述图像属性编码器输入，利用由超参定义的一组多层感知机，估计出输入图像所对应的维度为的高斯混合分布，得到图像属性特征。

进一步的，上述交互式图像编辑方法，其中，所述对所述原始图像对应的描述性文本进行上下文语义的词嵌入与编码得到文本特征的步骤包括：

所述原始图像对应的描述性文本通过词表映射得到一组单词索引，进行嵌入得到所述描述性文本长度的词向量；

将所述描述性文本长度的词向量输入至文本编码器中，获取每个时序节点的输出向量，得到文本特征。

进一步的，上述交互式图像编辑方法，其中，所述对所述图像属性特征与文本特征进行融合，得到融合特征的步骤包括：