[发明专利]基于轮廓信息的热红外语义分割无监督领域自适应方法

说明书

本发明公开一种基于轮廓信息的热红外语义分割无监督领域自适应方法：一、利用可见光带标注语义分割数据集训练语义分割模型以获得像素级语义分割的能力；二、利用可见光领域训练的语义轮廓模型提取热红外图像语义轮廓，通过轮廓构建起可见光图像语义与热红外图像语义的桥梁；三、对各个类别进行显著性检测，融合各类别显著性检测结果，并利用形态学操作与全连接条件随机场得到语义分割伪标签；四、利用热红外图像语义分割伪标签数据集对第一部分的语义分割模型进行再训练。本发明利用易于获取易于标注可见光图像语义分割数据与无标注的热红外图像数据，获得对热红外图像进行语义分割的模型，能被广泛应用于智能驾驶、安保安防等领域中。

【技术领域】

本发明涉及一种基于轮廓信息的热红外语义分割无监督领域自适应方法，语义分割和无监督领域自适应技术在图像应用领域具有广泛应用，隶属于计算机视觉领域。

【背景技术】

语义分割是以图像特征信息为依据，将图像分为若干具有特性且互不重叠区域并赋予语义类别的图像处理技术。语义分割简化了图像，提炼了图像的信息，便于场景理解与高层视觉任务。语义分割是计算机视觉领域和图像识别的重要处理技术。因此，研究快速、鲁棒以及准确的语义分割方法具有重要意义。

与可见光图像不同，热红外图像针对波长在7.5微米至13微米的电磁波辐射成像。任何温度在绝对零度以上的物体都会发射辐射。依据普朗克定律以及维恩位移定律，地表上大部分物体的辐射峰值都在热红外波段中。因此，热红外成像不需要其他外部光源，所以热红外图像在全天时成像方面具有优势，这使得其在具有全天时需求的应用例如安保国防上被广泛使用。因为热红外图像传感器的限制，热红外图像分辨率有限，同时，大气传输过程中的辐射衰减也导致热红外图像对比度低，轮廓模糊，纹理大面积缺失。因此，热红外图像处理一直具有较高的难度。大部分对热红外图像的技术研究仍然停留在基于灰度的目标分割等较为底层的数字图像处理阶段。基于热红外图像的语义分割仍是一个鲜有探索与研究的领域。

深度学习是一种近年来飞速发展的机器学习思想，受启发于神经科学的观点，其运用多层次结构去学习多层次组合。通过组合大量简单结构，其成功构建起了能够学习较为复杂映射的学习器。这些多层次结构被称为深度神经网络。通过监督训练，深度神经网络能够提取数字图像中深层次特征，其表现往往超越人工设计的特征。深度神经网络的监督训练需要大量带标签的数据，而这增加了深度神经网络的应用与新领域拓展难度。对于图像语义分割，这个问题尤为严重，因为其数据的标注需要远大于其他任务的人力。对于热红外图像语义分割，建立足够用于深度神经网络监督训练的标注数据集具有额外的困难。原因之一是热红外图像的许多应用场景缺少数据，二是因为热红外图像是基于热红外辐射成像，与人眼习惯的可见光波段图像不同，对于语义理解及标注存在困难。