[发明专利]一种无监督多模态对抗自编码的图像生成方法及框架

说明书

本发明公开了一种无监督多模态对抗自编码的图像生成方法及框架，包括步骤：S1、输入一组共n个同域的图像数据，它们来自于相同的数据分布，彼此共享部分公有属性，且各自拥有一些差异属性；S2、将输入的图像数据分别传入到可变属性编码器和固有属性编码器中，解耦出数据的固有属性编码和可变属性编码；S3、在无监督条件下，将可变属性编码及其相应的对抗网络进行对抗学习，以求解出可变属性编码的先验分布空间；S4、在无监督条件下，随机从可变属性编码的先验分布空间中采样，并联合固有属性编码通过解码器，完成单一域数据的多模态翻译，实现多属性的变换并生成对应的图像。本发明可有效解耦域内数据的公共属性和可变属性，并生成其多模态变换。

技术领域

本发明涉及计算机视觉、计算机图形学与机器学习的技术领域，尤其是指一种无监督多模态对抗自编码的图像生成方法及框架。

背景技术

随着深度学习技术和图像生成技术的不断发展，图像翻译领域涌现出大量优秀工作，应用于图像着色、超分辨率生成、风格转换等各个方面。当前来看，现有的图像翻译工作都建立在跨域数据的基础之上，需要明确给定两个或多个不同的图像域，而在工业设计领域，可能需要根据一个已有设计自动变换其色彩、光照等属性；在虚拟家居等领域也可能需要依据一定角度摆放不同类型的椅子、沙发等。在这些应用中，并无明显可定义的跨域数据，变换数据间具有既定的公共属性，又同时具备需要变换的差异性属性，现有的跨域数据翻译无法满足这些需求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，针对单一域数据的一对多图像翻译需求，提出了一种无监督多模态对抗自编码的图像生成方法及框架，可有效解耦域内数据的公共属性和可变属性，并生成其多模态变换。在无监督数据的前提下，解码这些数据的共有属性，并识别差异性属性，实现输入图像的多模态生成，即保留共有属性的同时完成差异性属性的多样化变换。

为实现上述目的，本发明所提供的技术方案如下：

一种无监督多模态对抗自编码的图像生成方法，包括以下步骤：

S1、输入一组共n个同域的图像数据，它们来自于相同的数据分布，彼此共享部分公有属性，且各自拥有一些差异属性；

S2、将输入的图像数据分别传入到可变属性编码器和固有属性编码器中，解耦出数据的固有属性编码和可变属性编码；

S3、在无监督条件下，将可变属性编码及其相应的对抗网络进行对抗学习，以求解出可变属性编码的先验分布空间；

S4、在无监督条件下，随机从可变属性编码的先验分布空间中采样，并联合固有属性编码通过解码器，完成单一域数据的多模态翻译，实现多属性的变换并生成对应的图像。

在步骤S1中，相同的数据分布指的是数据的来源具有一致性；差异属性指的是在图像中，同一个物体在不同季节、不同光照、不同时间和不同角度下产生的变化。

在步骤S2中，可变属性编码器将数据间的差异属性作为可变属性，采用卷积、全局池化、再卷积的设计模式，提取图像特征并编码，记为可变属性编码E_V；其中，所述卷积共包含五个卷积层，第一个为7*7卷积层，旨在进行浅层特征的初步提取，第二至第五个是4个连续的4*4卷积层，旨在同时实现图像的下采样和特征的进一步抽象；紧随其后的是全局池化层和1*1再卷积层，都旨在提取图像的高度抽象特征。

在步骤S2中，固有属性编码器将数据间的公有属性作为固有属性，采用卷积、下采样、残差块的设计模式，提取图像特征并编码，记为固有属性编码E_I；其中，所述卷积共包含五个卷积层，第一个为7*7卷积层，旨在进行浅层特征的初步提取，第二至第五个是4个连续的4*4卷积层，旨在同时实现图像的下采样和特征的进一步抽象；所述下采样的作用是降低特征维度，减少冗余信息；而最后的残差块设计为一种实例正则化密集残差块，目的是确保语义特征不变的前提下保留更加丰富的细节特征。