[发明专利]基于光场语义的图像处理方法、计算机装置、及存储介质

权利要求书

1.一种基于光场语义的图像处理方法，其特征在于，包括：

根据原始光场数据建立原始光场中一预设视角下的焦点图像堆栈；其中，所述焦点图像堆栈由一组不同深度的焦点图片组成；

分析焦点图像堆栈中每个焦点图片所包含每个实例的语义信息，以形成语义焦点图像堆栈，包括：对应每个焦点图片进行实例分割以得到其中每个实例的实例语义图像区域及相应的语义置信度；

根据所述语义焦点图像堆栈中属于同一实例在不同焦点图片的质量，选择其中质量最高的目标焦点图片来代表所述实例，以形成目标焦点图片集，包括：获取每个实例在每个所述焦点图片的质量分数；其中，每个质量分数是根据每个实例语义图像区域分别在各焦点图片中的语义置信度和清晰度综合评价得到的；

将所述目标焦点图片集中的实例的语义信息传播至所述原始光场，包括：关联存储每个目标焦点图片集的深度信息及实例的语义信息至一语义表示集合，所述语义信息关联有语义掩模；根据所述深度信息将各目标焦点图片集中的各实例语义图像区域相应的语义掩模重投影至目标视角下的对应实例。

2.根据权利要求1所述的方法，其特征在于，各所述焦点图片是在所述原始光场输入数据所对应场景的光场模型中沿深度平均采样得到的。

3.根据权利要求1所述的方法，其特征在于，所述实例分割的方法包括：Mask R-CNN、SDS、HyperColumns、CFM、DeepSharp Mask、MNC、ISFCN、FCIS、SIS及PAN中的任意一种。

4.根据权利要求1所述的方法，其特征在于，判断不同焦点图片中的实例属于同一物体的方法，包括：

根据每个同一实例在不同焦点图片中边界框之间的相似度、以及每个同一实例所在的不同焦点图片间的深度差异，对实例所属物体的类别进行聚类分析。

5.根据权利要求4所述的方法，其特征在于，所述深度差异通过高斯距离度量。

6.根据权利要求1所述的方法，其特征在于，所述清晰度中包含对所取实例语义图像区域中像素的像素值在不同视角下差异的评价。

7.根据权利要求6所述的方法，其特征在于，所述不同视角包括所述预设视角同其最接近的其它视角。

8.根据权利要求1所述的方法，其特征在于，所述重投影包括：对于目标视角中的每一个当前像素，找到其在所述预设视角下在所述语义表示集中不同深度目标焦点图片集上所对应的像素，选择其中深度信息最小且语义不属于背景分类的目标焦点图片上的像素的语义掩模值作为该当前像素的语义掩模值。

9.一种计算机装置，其特征在于，包括：一或多个存储器，用于存储计算机程序指令；一或多个处理器，用于运行所述计算机程序指令，以执行包括：

根据原始光场数据建立原始光场中一预设视角下的焦点图像堆栈；其中，所述焦点图像堆栈由一组不同深度的焦点图片组成；

分析焦点图像堆栈中每个焦点图片所包含每个实例的语义信息，以形成语义焦点图像堆栈，包括：对应每个焦点图片进行实例分割以得到其中每个实例的实例语义图像区域及相应的语义置信度；

根据所述语义焦点图像堆栈中属于同一实例在不同焦点图片的质量，选择其中质量最高的目标焦点图片来代表所述实例，以形成目标焦点图片集，包括：获取每个实例在每个所述焦点图片的质量分数；其中，每个质量分数是根据每个实例语义图像区域分别在各焦点图片中的语义置信度和清晰度综合评价得到的；

将所述目标焦点图片集中的实例的语义信息传播至所述原始光场，包括：关联存储每个目标焦点图片集的深度信息及实例的语义信息至一语义表示集合，所述语义信息关联有语义掩模；根据所述深度信息将各目标焦点图片集中的各实例语义图像区域相应的语义掩模重投影至目标视角下的对应实例。

10.根据权利要求9所述的装置，其特征在于，所述原始光场数据是由相机阵列对应一场景在一或多个时间点同时拍摄得到的一或多个图像组所得到的。