[发明专利]一种基于物体光照编辑的方法

权利要求书

1.一种基于图像物体的光照编辑方法，其特征在于，包括：

步骤1、基于物理渲染构建大规模、高质量的光照数据集；

步骤2、将每种数据按照设计的网络输入要求进行划分，最终针对每种数据，获得相应的6元组形式的网络输入；

步骤3、提取输入的6元组数据特征，并通过多尺度注意力机制来学习场景中真实物体的阴影信息，从而推导出虚拟物体的合理阴影；

步骤4、通过光照交换机制，将插入的虚拟物体的光照信息与其所在的背景的光照信息进行交换并融合；

步骤5、根据步骤3和步骤4所述的虚拟物体的合理阴影信息、光照融合信息合成得到物体光照编辑后的光照和谐图像并输出。

2.根据权利要求1所述的基于图像物体的光照编辑方法，其特征在于，所述步骤1包括以下子步骤：

步骤1.1、首先分别从Laval数据集和互联网上下载并获取具有各种真实场景的HDR全景图数据若干；同时，在互联网上选取7个不同的三维模型；

步骤1.2、对于每张全景图，截取任意8个有限的视角，分别作为不同的光照数据背景图像；

步骤1.3、根据步骤1.1和步骤1.2所述的不同的三维模型和不同场景的背景图像，通过基于物理的渲染将不同的三维模型在各种光照条件下进行渲染并嵌入到背景图像中得到光照合成图像。

3.根据权利要求2所述的基于图像物体的光照编辑方法，其特征在于，所述步骤2包括以下子步骤：

步骤2.1、根据步骤1所述的光照数据集，分别对每种数据进行物体的掩模、背景的掩模、物体和背景对应的光照图像以及光照和谐图像的获取；

步骤2.2、根据步骤2.1所述的各个数据分量，分别对每种数据进行6元组组合，最终获取每种数据的6元组形式的网络输入，数据6元组包括非光照和谐图像、物体掩模、背景掩模、物体光照信息、背景光照信息和光照和谐图像。

4.根据权利要求3所述的基于图像物体的光照编辑方法，其特征在于，所述步骤3包括以下子步骤：

步骤3.1、首先利用所述的6元组光照数据作为神经网络的输入信息，并对其进行特征提取；

步骤3.2、根据步骤3.1所述的提取的特征，利用具有1×1，3×3，5×5三个不同尺度卷积核的多尺度注意力机制学习真实场景中的参考物的阴影信息来推导虚拟物体生成合理的阴影。

5.根据权利要求4所述的基于图像物体的光照编辑方法，其特征在于，所述步骤4包括以下子步骤：

步骤4.1、重光照网络首先对输入的非光照和谐图像进行整体特征提取，即该特征包含图像的整体的光照特征和非光照特征；

步骤4.2、背景光照网络对输入的背景图像的光照信息进行特征提取，最终获取背景图像的光照特征；

步骤4.3、根据步骤4.1所述的图像的整体特征，将其与物体的掩模进行逐像素相乘操作，最后获取物体的整体特征，即物体的光照特征和非光照特征；

步骤4.4、根据步骤4.2所述的背景的光照特征和步骤4.3所述的物体的光照特征，通过光照交换机制实现其光照特征的交换。

6.根据权利要求5所述的基于图像物体的光照编辑方法，其特征在于，所述步骤5包括以下子步骤：

步骤5.1、根据步骤4.4所述的光照交换后的特征，对其进行解码器解码，将光照信息与非光照信息进行融合，最终得到光照融合后的特征；

步骤5.2、根据步骤5.1所述的光照融合特征和步骤3.2所述的虚拟物体阴影特征，通过重光照网络的解码器解码，最终获得光照编辑后的场景和谐图像。