[发明专利]一种基于神经网络的图像光照估计方法

说明书

技术领域

本发明涉及数字图像处理领域，更具体地，涉及一种基于神经网络的图像光照估计方法。

背景技术

不同的光照条件下，物体会产生不同的表面颜色、阴影，在进行图像处理时会得到完全不同的视觉效果。所以知道准确的光照值有着很重要的作用。

现有图像光照估计研究方法主要分为两种，无监督光照估计和有监督光照估计。

无监督光照估计是指不依赖于其他的先验知识，仅从图像的底层图像特征估计得到图像成像时的场景光照。经典的无监督光照估计算法都是通过图像信息建模来估计光源方位角和光源仰角。利用微元的角度对图像光照进行分析，最终得出一种适合整个物体表面光照的估计方法。但是这些方法在选取待估计区域有一定的要求：1)尽量选择光照良好的区域。2)选择的区域最好为同一物体且纹理和材质统一。但是在实际中几乎不可能同时满足这两个条件，所以这些算法都具有局限性。

有监督估计主要是利用大量已知光照信息的照片学习到光照估计能力，然后利用光照估计能力估计未知光照值的照片。基于贝叶斯推理的光照估计方法具有很好的代表性。有监督光照估计需要大量已知光照值的照片，而现有的光照数据集是通过手动收集，由于人工标定成本较高，且人眼标定时存在视觉误差，致使现有的有监督光照估计方法性能较弱。

随着计算机深度学习的发展，深度卷积神经网络在计算机视觉领域取得举世瞩目的成就。将神经网络用在计算机的各种研究成为必然趋势。神经网络主要有以下这些优点：1、很强的鲁棒性和容错性；2、并行处理方法计算速度快；3、自学习，自组织，自适应性，使得网络可以处理不确定或不知道的系统；4、可以充分逼近复杂的非线性关系；5、具有很强的信息综合能力，能同时处理定性和定量的信息，能够协调多种信息输入关系。神经网络强大的学习能力和其他自身优点使其应用在光照估计有很重要的意义。

渲染是指用软件由模型生成图像的过程，在模型上加上一些几何、视点、照明、阴影等信息增强图像的艺术效果、质感和立体感。

基于神经网络的图片光照估计的基本思想是利用渲染形成已知光照值的图像集，将图像集作为神经网络的输入，光照值作为神经网络的输出。核心思想是利用深度卷积神经网络强大的学习能力学习图像中的隐含光照信息。

发明内容

本发明提供一种适用性广的基于神经网络的图像光照估计方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于神经网络的图像光照估计方法，包括以下步骤：

S1：采用随机方式生成一系列光照参数，光照参数为光照能量、光照距离、光源方位角、光源仰角；

S2：三维模型渲染，在渲染通道加入光照参数生成二维图像，形成带有光照标签的合成图像集；

S3：将合成图像集中的每张图像进行裁剪，形成已知光照值的训练数据集；

S4：利用训练数据集训练深度卷积神经网络，其中带有光照标签的图像是神经网络的输入，光照值是神经网络的输出，对任意一幅图像，输入到训练好的神经网络中，可以得到其光照值。

进一步地，所述步骤S1中：

所述光照参数中光源能量e和光照距离d的变化范围是(1,20)，光源方位角θ的变换范围是(0,360°)，光源仰角γ的变化范围是(-90°,90°)。

进一步地，所述步骤S2中：

利用渲染工具将三维模型集合成已知光照值的图像集，为了增加种类和多样性，采用轴对称或者旋转对称的形式保留形变增加数量。

进一步地，所述三维模型集来自ShapeNet数据集，渲染工具选用Blender，基于不同材料的表面对光照的反射和散射程度不同，故所选类别的表面属于不同材质，共14类进行合成。

进一步地，所述步骤S4中：

在训练神经网络估计光照时，提出深度卷积神经网络里所有的分类器都可以共享卷积层和全连接层。

进一步地，在训练深度卷积神经网络过程所用损失函数为：

其中，d为光源距离，P_v(s；c_s)是光源方位角和光源仰角的采样概率，样本s来自类别c_s的soft-max分类器，d(v,v_s)是光源方位角θ和光源仰角γ之间的欧式距离，使用随机梯度下降法求出损失函数L_vp({s})的最小值就得到训练好的神经网络。

与现有技术相比，本发明技术方案的有益效果是：