[发明专利]一种基于物体光照编辑的方法

说明书

本发明涉及增强现实领域，提供了一种基于物体的光照编辑方法，首先提出了一种基于物理渲染技术，构建一套大规模、高质量的数据集，用于物体光照编辑任务；将构建的合成数据及其相应的光照信息作为网络的输入，并通过多尺度注意力机制来学习场景中真实物体的阴影信息，为场景中插入的虚拟物体的阴影生成提供参考和指导；通过利用光照交换机制，有效地实现场景中插入的虚拟前景物体光照信息与背景光照信息进行交换，实现前景与背景的光照融合；最后通过生成式对抗学习实现更加真实地场景光照和谐图像并输出。本发明能够避免任何逆渲染技术且简单、鲁棒、有效地实现物体光照编辑，实现场景的光照和谐。

技术领域

本发明属于增强现实领域，尤其涉及一种基于物体光照编辑的方法，直接采用端到端的算法实现物体的光照编辑。

背景技术

目前，常用的基于物体的光照编辑方式分为以下几种：一、利用传统的方法，通过对物体和场景的几何、材质和光照信息建模，实现物体的重光照，如在论文“Karschet al”中所提出的技术，尽管该方法能够获得较好的编辑效果，但是其严重依赖于物体和场景的几何、光照等逆渲染信息，一旦几何、光照等信息估计不准就会造成较差的光照编辑结果；二、利用深度学习技术实现物体和场景融合，这类方法主要集中在处理场景中的物体与背景的色调一致性问题，该类方法只考虑到物体与场景的色调一致性，未能从真正意义上解决对物体的光照信息(物体的色温，光照强度及阴影)进行编辑。现有技术中，缺乏一种避免任何逆渲染技术且简单、鲁棒、有效地实现物体光照编辑的方法。

发明内容

本发明就是为了解决现有技术地不足，提出了一种基于物体光照编辑的方法，解决了现有的方法对物体的光照编辑泛化能力不强、严重依赖于逆渲染技术而难以高效、准确地建模物体的光照信息等问题。

本发明所设计的一种基于物体光照编辑的方法，包括以下步骤：

步骤1、首先基于物理渲染构建大规模、高质量的光照数据集。

步骤2、将每种数据按照设计的网络输入要求进行划分，最终针对每种数据，获得相应的6元组形式的网络输入。

步骤3、提取输入的6元组数据特征，并通过多尺度注意力机制来学习场景中真实物体的阴影信息，从而推导出虚拟物体的合理阴影。

步骤4、通过光照交换机制，将插入的虚拟物体的光照信息与其所在的背景的光照信息进行交换并融合。

步骤5、根据步骤3和步骤4所述的虚拟物体的合理阴影信息、光照融合信息合成得到物体光照编辑后的光照和谐图像并输出。

优选的，所述步骤1包括以下子步骤：

步骤1.1、首先分别从Laval数据集和互联网上下载并获取具有各种真实场景的HDR全景图数据共2686张。同时，在互联网上选取7个不同的三维模型，即bunny,lucy,buddha以及其他三个人物模型。

步骤1.2、对于每张全景图，截取任意8个有限的视角，分别作为不同的光照数据背景图像，最终获取22256张背景图。

步骤1.3、根据步骤1.1和步骤1.2所述的不同的三维模型和不同场景的背景图像，通过基于物理的渲染将不同的三维模型在各种光照条件下进行渲染并嵌入到背景图像中，最终获取89898张光照合成图像。

优选的，所属步骤2包括以下子步骤：

步骤2.1、根据步骤1所述的光照数据集，分别对每种数据进行物体的掩模、背景的掩模、物体和背景对应的光照图像以及光照和谐图像的获取。

步骤2.2、根据步骤2.1所述的各个数据分量，分别对每种数据进行6元组组合，最终获取每种数据的6元组形式的网络输入，数据的5元组包括非光照和谐图像，物体掩模,背景掩模,物体光照信息，背景光照信息，光照和谐图像。

优选的，所述步骤3包括以下子步骤：