[发明专利]用于图像分割的神经网络模型

说明书

一种计算机处理系统经配置以训练用于在语义图像分割中使用的模型。所述模型包括细化神经网络、鉴别器神经网络。所述细化神经网络经配置以接收图像的经预测标签分布，从随机或伪随机噪声源获得一或多个随机值，使用所述一或多个随机值从所述所接收的经预测标签分布生成多个经预测分割图，及将所述多个经预测分割图输出到所述鉴别器神经网络。所述计算机处理系统经配置以使用目标函数来训练所述细化神经网络，所述目标函数是所述鉴别器神经网络的输出的函数，且进一步包含表示所述经预测标签分布与由所述细化神经网络针对所述经预测标签分布输出的所述多个经预测分割图的平均值之间的差的项。

背景技术

本发明涉及用于在语义图像分割中使用的神经网络。

通过将各种计算机视觉问题视为图像分割问题，卷积神经网络(CNN)已成功地应用于各种计算机视觉问题。实例包含用于自动驾驶的道路场景理解及解释医学成像。针对此类应用，网络通常使用多类别每像素标签进行训练，所述标签一起形成图像大小的分割图(本文也称为“标签”)。此类网络的输出接着又是一个图像大小的图，表示每像素类别概率。

在基于似然的语义分割中，神经网络可通过针对由图像对(例如照片)及对应的人类标记分割图组成的训练数据训练它而经训练以执行语义分割。随后，通过沿预测概率的类别维度应用argmax函数(即，针对每一像素，选择最可能的分类)，可从经训练的网络获得给定输入图像的最终分割图。例如，此分割图可在使自动驾驶汽车确定视野中的物体可能是另一辆车还是行人时有用。

然而，基于似然的语义分割的一个缺点是其可生成不连贯的语义图。这背后的根本原因是训练损失被公式化的方式(例如，使用每像素交叉熵)，使得分割图中的每一输出像素独立于其它所有像素被考虑—即，不强制执行明确的像素间一致性。特定来说，针对有噪声的真实世界数据集，最大化因子化似然会导致标签相关不一致区域的不确信预测。

生成性对抗网络(GAN)已应用于语义分割问题，以尝试解决前述提及的每像素损失问题。GAN通过在极小极大博弈中以交替方式训练两个网络来工作：生成器神经网络经训练以产生语义分割图，而二进制鉴别器神经网络经训练以区分经生成(经预测)分割图数据(“假”)与地面真值(ground truth)标签(“真”)。在训练期间，生成器产生语义分割图，而鉴别器交替地观察地面真值标签及经预测分割图。在训练完成之后，可使用经训练的生成器网络的副本对所接收的图像执行语义分割—例如，以解释自动驾驶汽车中的街道场景的实况视频。

然而，在实际中，GAN模型会导致语义图像分割中的分类结果不佳。

在WO 2019/238560中，本申请人提出训练生成器网络，以使用包含对抗损失项及像素级交叉熵损失项的目标函数执行图像分割。此类方法可帮助稳定对抗训练的动态，但仍并不总是理想的，尤其是当训练数据有噪声时。

然而，申请人现在已设计一种不同的方法，即使在针对有噪声的数据进行训练时，其仍可提供良好的图像分割性能。

发明内容

从第一方面，本发明提供一种计算机处理系统，其经配置以训练用于在语义图像分割中使用的模型，其中所述模型包括：

细化神经网络；

鉴别器神经网络，

其中所述细化神经网络经配置以：

接收图像的经预测标签分布；

从随机或伪随机噪声源获得一或多个随机值；

使用所述一或多个随机值从所述所接收的经预测标签分布生成多个经预测分割图；及

将所述多个经预测分割图输出到所述鉴别器神经网络，且