[发明专利]基于物理光学模型和神经网络的双流散景渲染方法及系统

权利要求书

1.一种基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，包括以下步骤：

S1，将全聚焦图像I转换为RAW格式的图像I′；并利用所述图像I对应的视差图、模糊程度参数及聚焦视差参数，得到带符号的散焦图；

S2，遍历所述图像I′中所有像素点，对每个像素点，基于光圈形状参数计算渲染范围内所有像素点所分配到的权重值，以得到每个像素点的渲染结果B′_p；

S3，将所述图像I′和散焦图输入训练好的神经网络，以输出渲染结果B′_d及深度不连续区域的概率图P；

S4，根据所述概率图P、渲染结果B′_p和渲染结果B′_d，计算融合后的图像，并将融合后的图像还原为初始格式。

2.根据权利要求1所述的基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，所述S1包括：

S11，使用Gamma变换函数，将全聚焦图像I转换为RAW格式的图像I′，其中，I′＝I^γ；

S12，利用所述图像I对应的视差图D、模糊程度参数K及聚焦视差参数d_f，得到带符号的散焦图S，其中，S＝K(D-d_f)。

3.根据权利要求1所述的基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，所述S2包括：

S21，遍历所述图像I′中所有像素点，计算每个像素点的渲染范围；

S22，对每个像素点，计算所述渲染范围内所有像素点所分配到的权重值；

S23，将每个像素点的累加颜色值除以累加权重值，得到每个像素点的渲染结果；其中，所述累加权重值由每个像素点所分配到的权重值累加得到，所述累加颜色值由每个像素点所分配到的权重值与对应分配权重的像素点的颜色强度相乘后累加得到。

4.根据权利要求3所述的基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，所述光圈为多边形；

所述S22中，对于像素点i渲染范围内的任意像素点j所分配到的权重值w_ij为：

其中，l_ij表示像素点i到像素点j的距离，α和∈为两个超参数，r_i为渲染半径，mod表示求余函数，dx_ij和dy_ij分别表示像素点i到像素点j在水平方向和竖直方向的距离，n表示多边形的边数。

5.根据权利要求3所述的基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，所述光圈为圆形；

所述S22中，对于像素点i渲染范围内的任意像素点j所分配到的权重值w_ij为：

其中，l_ij表示像素点i到像素点j的距离，α和∈为两个超参数，r_i为渲染半径。

6.根据权利要求1至5任一项所述的基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，所述S3包括：

S31，将所述图像I′和散焦图输入自适应渲染网络，得到初始渲染图像B′_dc以及深度不连续区域的概率图P，所述自适应渲染网络包括依次连接的第一自适应尺度调节层、下采样模块、若干卷积层、残差块、上采样模块和第二自适应尺度调节层，两个自适应尺度调节层的缩放尺度值根据网络最大的模糊程度和用户所需的模糊程度计算得到。

7.根据权利要求6所述的基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，所述S3还包括：

S32，将所述图像I′、经过tanh函数处理后的散焦图、所述初始渲染图像B′_dc以及缩放尺度值输入细节修复网络，得到残差，所述细节修复网络包括依次连接的下采样模块、若干卷积层、上采样模块；

S33，将所述残差与初始渲染图像B′_dc叠加，得到所述渲染结果B′_d。