[发明专利]基于物理光学模型和神经网络的双流散景渲染方法及系统

说明书

本发明公开了一种基于物理光学模型和神经网络的双流散景渲染方法及系统，属于计算机视觉技术领域,方法包括：将全聚焦图像转换为RAW格式，并利用视差图、模糊程度参数及聚焦视差参数，得到带符号的散焦图；物理渲染器根据光圈形状参数，对图像中的深度平滑区域进行多风格渲染；神经网络渲染器渲染图像中的深度不连续区域，并预测该区域的概率图；融合物理渲染器和神经网络渲染器的结果；将融合后的散景图像从RAW格式还原为初始格式。本发明不仅能够渲染接近单反相机的散景效果，同时能够自由调整聚焦平面、模糊程度及渲染风格，真实性高、可定制性强。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于物理光学模型和神经网络的双流散景渲染方法及系统。

背景技术

在摄影学中，散景表示在场景的失焦处产生的松散、柔美的模糊效果。根据不同的镜头设计、光圈形状，散景效果也会发生变化。为了满足不同用户的使用需求，通常摄影厂家会提供多种不同样式的镜头。尽管使用单反相机搭配不同大光圈镜头能够创造真实自然且风格多变的散景效果，但其购买成本以及对于摄影技巧的需求过高，并不适用于仅使用手机拍照的普通用户，因此当前大多数手机厂家尝试采用后处理的方式，结合传感器获得的场景深度信息，将小景深的全聚焦图像转换为大景深的散景图像。

目前，在给定深度信息情况下的散景渲染方法主要分为两种：基于物理光学模型的渲染方法和基于神经网络结构的渲染方法。基于物理光学模型的渲染方法灵活性好，可定制性强，可以根据用户喜好来自由调节不同的散焦风格，但在深度不连续区域往往效果不好，存在颜色渗透的问题；基于神经网络结构的渲染方法虽然在深度不连续区域能够获得较好的效果，但受限于训练数据集，其模糊范围和散焦风格会收到限制，难以灵活调整。

由此可见，现有技术存在散景效果难以兼具真实性与可定制性的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于物理光学模型和神经网络的双流散景渲染方法及系统，旨在解决现有技术得到的散景效果难以兼具真实性与可定制性的技术问题。

为实现上述目的，本发明提供了一种基于物理光学模型和神经网络的双流散景渲染方法，包括以下步骤：

S1，将全聚焦图像I转换为RAW格式的图像I′；并利用所述图像I对应的视差图、模糊程度参数及聚焦视差参数，得到带符号的散焦图；

S2，遍历所述图像I′中所有像素点，对每个像素点，基于光圈形状参数计算渲染范围内所有像素点所分配到的权重值，以得到每个像素点的渲染结果B′_p；

S3，将所述图像I′和散焦图输入训练好的神经网络，以输出渲染结果B′_d及深度不连续区域的概率图P；

S4，根据所述概率图P、渲染结果B′_p和渲染结果B′_d，计算融合后的图像，并将融合后的图像还原为初始格式。

进一步地，所述S1包括：S11，使用Gamma变换函数，将全聚焦图像I转换为RAW格式的图像I′，其中，I′＝I^γ；S12，利用所述图像I对应的视差图D、模糊程度参数K及聚焦视差参数d_f，得到带符号的散焦图S，其中，S＝K(D-d_f)。

进一步地，所述S2包括：S21，遍历所述图像I′中所有像素点，计算每个像素点的渲染范围；S22，对每个像素点，计算所述渲染范围内所有像素点所分配到的权重值；S23，将每个像素点的累加颜色值除以累加权重值，得到每个像素点的渲染结果；其中，所述累加权重值由每个像素点所分配到的权重值累加得到，所述累加颜色值由每个像素点所分配到的权重值与对应分配权重的像素点的颜色强度相乘后累加得到。

进一步地，所述光圈为多边形；所述S22中，对于像素点i渲染范围内的任意像素点j所分配到的权重值w_ij为：