[发明专利]一种基于深度注意生成对抗网络的实例级图像翻译技术

说明书

本发明中提出的一种基于深度注意生成对抗网络的实例级图像翻译技术，其主要内容包括：网络模块、实例级图像翻译、集合级图像翻译、完整目标函数，其过程为，首先使用一个深度注意编码器、一个生成器以及两个鉴别器构建深度注意生成对抗网络；然后根据给定的输入图像，采用定位函数预测注意区域的位置并计算注意掩码；接着利用生成器接收来自隐空间的结构化表达式，产生翻译样本；最后使用鉴别器把翻译的样本从真实图像里面鉴别出来。本发明基于深度注意生成对抗网络，提出了一种实例级图像翻译技术，可以同时应用于实例级和集合级的约束，解决大量的实际任务，并且能够获得性能更好的效果。

技术领域

本发明涉及图像翻译领域，尤其是涉及了一种基于深度注意生成对抗网络的实例级图像翻译技术。

背景技术

图像翻译是机器翻译的一个应用，用户可以把一个图像中所包含的文本信息、颜色信息、图标信息等等，转换成为任意的表现形式。高速发展的移动电子设备使得图像翻译技术广泛运用于人们生活的各个方面。比如，此技术可以用于将其他国家的文字，翻译成为自己国家的文字，这样就有利于信息的传递以及文化的交流。再比如，可以利用图像翻译技术将用户在商场看到的描述商品性质的广告词等翻译成为直观的图片，也可以根据用户输入的商品图片，自动搜索到与之类似的相关商品。目前，无监督式图像翻译面临着一个巨大的挑战，即其需要在没有成对数据的情况下发掘正确的对应关系。现有的方法建立在生成对抗网络的基础上面，其属于集合级约束，缺点在于无法学习实例级的对应关系，诸如语义的理解与正确对应。

本发明提出了一种基于深度注意生成对抗网络的实例级图像翻译技术，首先使用一个深度注意编码器、一个生成器以及两个鉴别器构建深度注意生成对抗网络；然后根据给定的输入图像，采用定位函数预测注意区域的位置并计算注意掩码；接着利用生成器接收来自隐空间的结构化表达式，产生翻译样本；最后使用鉴别器把翻译的样本从真实图像里面鉴别出来。本发明基于深度注意生成对抗网络，提出了一种实例级图像翻译技术，可以同时应用于实例级和集合级的约束，解决大量的实际任务，并且能够获得性能更好的效果。

发明内容

针对现有方法存在无法学习实例级的对应关系等问题，本发明的目的在于提供一种基于深度注意生成对抗网络的实例级图像翻译技术，首先用一个深度注意编码器、一个生成器以及两个鉴别器构建深度注意生成对抗网络；然后根据给定的输入图像，采用定位函数预测注意区域的位置并计算注意掩码；接着利用生成器接收来自隐空间的结构化表达式，产生翻译样本；最后使用鉴别器把翻译的样本从真实图像里面鉴别出来。

为解决上述问题，本发明提供一种基于深度注意生成对抗网络的实例级图像翻译技术，其主要内容包括：

(一)网络模块；

(二)实例级图像翻译；

(三)集合级图像翻译；

(四)完整目标函数。

其中，所述的网络模块，深度注意生成对抗网络包括四个网络模块：深度注意编码器、生成器、鉴别器D1和鉴别器D2。

进一步地，所述的深度注意编码器，给定一个输入图像X的特征图像E(X)，首先采用定位函数预测一系列注意区域的位置；一旦得到了注意区域的位置，就可以获得注意掩码

具体来讲，用w和h分别表示图像X宽度和高度的一半，那么，可以采用下面公式对注意区域进行参数化：

然后，通过点乘运算计算接着得到注意区域

进一步地，所述的生成器，生成器接收来自隐空间的高度结构化表达式，用于产生翻译得到的样本；

生成器被迫翻译那些无法从真实图像区分出来的样本。