[发明专利]用于产生透视效果的光场图像渲染方法和系统

权利要求书

1.一种用于光场渲染的图像处理方法，其特征在于，包括：

构建含有深度分量和语义分量的针对光场的权重函数，其中，该权重函数向所述光场内的光线分配权重；以及

使用所述权重函数进行光场渲染；

其中，所述权重函数的所述深度分量和所述语义分量向光线分别分配深度导向权重和标记导向权重，通过将所述深度导向权重与所述标记导向权重相乘而计算所述光线的联合权重；

其中，所述权重函数的所述语义分量的定义如下：

其中，

其中，表示光线r_st的类别标记，

d_f为焦深，

为分配有所述类别标记的所有光线的深度当中的最小深度，其中，s_r表示光线r的类别标记，d_r表示光线r的深度，

为分配有所述类别标记的所有光线的深度当中的最大深度，其中，s_r表示光线r的类别标记，d_r表示光线r的深度，

C₂为取值在0和1之间且决定所述最小权重的第二渐消因子。

2.如权利要求1所述的图像处理方法，其特征在于，分配给光线的所述标记导向权重还取决于渲染焦深，当所述焦深小于最小深度值或大于最大深度值时，向所述标记导向权重分配最小权重。

3.如权利要求1所述的图像处理方法，其特征在于，所述权重函数的所述深度分量定义如下：

其中，

其中，为所述光线的深度值，d_f为所述焦深，σ_d为控制对渲染有影响的光线数目的标准差，C₁为取值在0和1之间的第一渐消因子。

4.如权利要求1所述的图像处理方法，其特征在于，所述图像处理方法用于从渲染的图像中至少部分去除阻碍观看关注对象的遮挡物。

5.如权利要求1所述的图像处理方法，其特征在于，还包括计算光线的深度值，该计算包括：

以含有类似的和非类似的成对图像的数据集对卷积神经网络进行训练；

将训练后的所述卷积神经网络应用于所述成对图像的每一图块而获得该每一图块的初始匹配代价；以及

以立体方法完善所述每一图块的所述匹配代价并确定所述每一图块的视差值。

6.如权利要求1所述的图像处理方法，其特征在于，还包括向光线分配类别标记，该分配包括：

使用卷积神经网络计算渲染的图像中每一像素的概率分布，其中，所述每一像素的概率分布包含所述像素分别属于不同类别当中每一类别的概率；

计算所述每一像素的概率分布的置信度；

当计算出的所述像素的概率分布置信度低于阈值时，判断所述像素的概率分布不可靠，并将与所述像素对应的任何光线指定为未标记；以及

对于概率分布未确定为不可靠分布的每一其余像素，向该每一其余像素的所有对应光线分配概率为所述概率分布当中具有最高概率的类别标记。

7.如权利要求6所述的图像处理方法，其特征在于，还包括：

对于与处于不同景深处的不同物体相对应的光线，以及对于指定为未标记的光线，根据这些光线的深度值，重新进行类别标记分配计算。

8.如权利要求7所述的图像处理方法，其特征在于，根据所述光线的深度值重新进行类别标记分配计算包括：

对于分配至所述其余像素的每一类别标记，通过以分配有该每一类别标记的所有光线的深度值进行正态分布拟合而创建该类别标记的概率分布函数；

对于与未标记光线对应的每一像素以及每一其余像素，确定类别标记当中相对于该每一像素的深度值的概率分布函数值最高的类别标记；以及

将该类别标记分配给与所述每一像素相对应的光线。

9.一种用于光场渲染的图像处理系统，其特征在于，包括：

一个或多个处理器；以及

存有指令的存储器，所述指令在由所述一个或多个处理器执行时，所述指令用于：

构建含有深度分量和语义分量的针对光场的权重函数，其中，该权重函数向所述光场内的光线分配权重；以及

使用所述权重函数进行光场渲染，

其中，所述权重函数的所述深度分量和所述语义分量向光线分别分配深度导向权重和标记导向权重，通过将所述深度导向权重与所述标记导向权重相乘而计算所述光线的联合权重；

其中，所述权重函数的所述语义分量的定义如下：

其中，

其中，表示光线r_st的类别标记，

d_f为焦深，

为分配有所述类别标记的所有光线的深度当中的最小深度，其中，s_r表示光线r的类别标记，d_r表示光线r的深度，

为分配有所述类别标记的所有光线的深度当中的最大深度，其中，s_r表示光线r的类别标记，d_r表示光线r的深度，

C₂为取值在0和1之间且决定所述最小权重的第二渐消因子。