[发明专利]基于偏振线索的玻璃图像分割方法

说明书

本发明属于计算机视觉中的场景分割领域，提供一种基于偏振线索的玻璃图像分割方法。PGSNet先后包含早期动态注意模块、Conformer骨干网络、动态多模态特征集成模块和全局上下文引导解码模块，EDA模块计算AoLP和DoLP分别在三个不同波长段上的权重；特征提取器提取全局和局部特征；DMFI模块动态增强局部上下文线索并集成三个不同波长段的偏振特征；GCGD模块利用全局引导使解码器聚焦在玻璃区域，结合不同等级的偏振特征逐步确定玻璃的位置和边界。本发明方法集成了玻璃图像的RGB信息和加权偏振信息，并在确定玻璃时利用全局上下文信息避免过度分割。本发明设计了PGSNet解决计算机视觉任务中的玻璃分割问题。

技术领域

本发明属于计算机视觉中的场景分割(SceneSegmentation)领域，实现结果为图像内容的分割，特别涉及一种真实环境中玻璃图像的分割方法。

背景技术

图像分割是指为图像中的每个像素分类，从而划分出图像中一些具有特定性质的区域，并提出感兴趣目标的技术。其应用领域包括但不限于自动驾驶、图像美化、三维重建等。

玻璃作为场景中的常见物体，对现有的图像分割技术形成了极大的挑战。由于玻璃材料的透明特点，其缺乏固定RGB纹理特征，现有的图像分割算法难以捕捉场景中玻璃的有效特征。与其他不透明材料相比，玻璃的外观取决于各种局部和全局条件，包括环境中物体表面的反射、透明物体表面的折射、物体自身的形状和颜色等，导致难以对其外观特征进行建模。同时，玻璃广泛出现在复杂的室内室外环境中，对目前计算机视觉系统的场景理解任务造成较大的困难和障碍，进一步影响机器人导航、自动驾驶等任务的执行。

本发明涉及的相关技术包括透明物体分割和偏振理论等。

透明物体分割(Transparent Object Segmentation)主要通过上下文信息或边界检测来确定环境图像中透明或半透明目标的大小、形状和位置，从而帮助无人机和自动驾驶汽车等理解周围场景。但现有的透明物体分割方法只适用于常规场景下的玻璃分割，因为这些方法不能通过RGB图像中玻璃的反射或折射提取足够的有效特征。当玻璃所处的场景较为复杂，具有混乱性或欺诈性时，现有透明物体分割方法的有效性便显著降低。

偏振(Polarization)指的是一束光的波以相同的角度振动，相干光源发出的光束在通过偏振滤光器或者从非金属表面反射时会发生偏振。常用线偏程度DoLP和线偏角度AoLP描述线性偏振光，二者的具体数值与物体表面材质有关，因此玻璃的偏振线索能够有效提高分割网络处理场景中玻璃的能力。但随着场景和光照条件的变化，R、G、B三个波长段能够提供不同的偏振线索，因此需要综合考虑不同波长段上偏振光线提供的信息。针对结合偏振信息的玻璃分割网络需要特别设计。

本发明基于对现有场景分割技术的调查与分析，发现了偏振信息对提高玻璃分割能力的明显作用，提出了结合玻璃偏振线索的分割方法，形成了能有效分割场景中玻璃的偏振玻璃分割网络(Polarization Glass Segmentation Network,PGSNet)。PGSNet的输入是包含玻璃的RGB图像以及对应的R、G、B三个不同波长段上的AoLP和DoLP图像，输出是玻璃掩膜图像，掩膜图像中玻璃区域的值为1，非玻璃区域的值为0。实验证明，结合多波长偏振线索的本方法能够有效分割出不同场景下不同类型的玻璃，提升场景理解的准确度。

发明内容