[发明专利]一种基于域自适应的帧间图像语义分割方法与系统

说明书

本发明公开了一种基于域自适应的帧间图像语义分割方法与系统，涉及图像处理技术领域，包括步骤：通过图像层级的域自适应处理训练图像，获得视觉风格优化后的增强图像；获取增强图像经过目标渲染处理后，带有相应语义标签的目标渲染图像；通过最小熵损失函数进行目标渲染图像与目标图像之间基于对抗学习的域间自适应训练；基于目标图像的熵图平均值进行有监督数据和无监督数据的提取；通过域间自适应训练后的模型结合有监督数据，与无监督数据进行基于熵的对抗学习，获取域内自适应后的语义分割模型。本发明通过增加图像层级的域自适应，降低视觉高维特征对输出空间的影响，通过三个层次域自适应的结合大大提高语义分割的精度。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于域自适应的帧间图像语义分割方法与系统。

背景技术

基于卷积神经网络（CNNs）的研究促进了对于计算机视觉的不断发展。在基于CNN的模型中，语义分割在自动驾驶、事态诊断和图像编辑等方面的潜在应用前景受到了人们的广泛关注。语义分割是一种将类标签(如人、车、路、树等分类)分配到图像中每个像素的技术。这样的分割模型需要使用逐像素的真实数据（ground truths）来对模型进行训练。然而，语义分割训练模型存在两个关键的问题。首先，创建精确的逐像素注释需要长时间的手工工作以及高劳动力成本。事实上，据报告，Cityscape数据集(一个驾驶图像数据集)需要90分钟才能创建获得逐像素的注释。其次，当训练图像和测试图像之间，由于不同环境（如光照度、清晰度等）而导致存在域间隙时，很难很好地对其进行检测。例如，当城市、天气或拍摄条件发生变化时，图像的特征分布可能与训练图像的特征分布存在显著不同。在这种情况下，仅依靠监督模型，会由于域间隙的存在导致语义分割的准确性降低。

为了在各种条件下都能执行高精确的语义分割，有必要在各种条件下都为每个像素创建有监督的数据。但是，逐像素注释非常耗时，而且很难注释所有条件。因此，人们现如今的解决方法是，通过在游戏引擎渲染的逼真数据中添加像素级注释，再将其用于学习语义分割网络。然而，由于游戏图像和真实驾驶序列的域分布不同，其分割精度并不如想象中的高。

发明内容

为了进一步提高语义分割的精度，考虑到现有语义分割中对于特征空间处理的特点，本发明提出了一种基于域自适应的帧间图像语义分割方法，以真实世界的城市景观数据集作为目标图像，以带有语义标签的城市景观数据集作为训练图像，包括步骤：

S1：获取预设数量的目标图像和训练图像；

S2：通过图像层级的域自适应处理训练图像，获得视觉风格优化后的增强图像；

S3：获取增强图像经过目标渲染处理后，带有相应语义标签的目标渲染图像；

S4：通过最小熵损失函数进行目标渲染图像与目标图像之间基于对抗学习的域间自适应训练；

S5：基于目标图像的熵图平均值提取目标图像中预设域间隙范围内的图像作为有监督数据，并提取目标图像中预设域间隙范围外的图像作为无监督数据；

S6：通过域间自适应训练后的模型结合有监督数据，与无监督数据进行基于熵的对抗学习，获取域内自适应后的语义分割模型。

进一步地，所述带有语义标签的城市景观数据集来自于城市景观写实应用的图像数据库。

进一步地，所述S2步骤中，图像层级的域自适应通过对图像参数进行调整，使训练图像优化为真实世界的视觉风格。

进一步地，所述S4步骤中，域间自适应训练是将基于熵的无监督域自适应应用于输出空间，通过对抗式最小化与域自适应强相关的熵进行的语义分割，其表示为如下公式：