[发明专利]用于图像分割的神经网络系统和方法

说明书

本文描述了可以使用编码器神经网络和解码器神经网络来实施的用于图像分割的神经网络系统和方法。编码器网络可以被配置为接收包括解剖结构的视觉表征的医学图像，并且生成表示医学图像的多个特征的医学图像的隐表征。解码器网络可以使用隐表征来生成用于从医学图像分割解剖结构的掩模。解码器网络可以被预训练以学习与解剖结构相关联的形状先验，并且一旦被训练，解码器网络就可以用于在编码器网络的训练期间约束编码器网络的输出。

技术领域

本申请涉及医学成像技术领域。

背景技术

医学成像在现代健康护理服务中扮演重要角色。利用先进的成像设备，诸 如超声扫描仪、X光机、医疗共振成像(MRI)扫描仪、计算机断层摄影(CT) 扫描仪和正电子发射断层摄影(PET)扫描仪，可以生成有价值的图像数据来识 别多个解剖结构和/或可能的异常，诸如患病的器官、囊肿、肿瘤等。由这些扫 描仪生成的数据量增加了对自动图像处理和识别技术的需要。一种这样的自动 技术是图像分割，其包括将图像分割成多个片段并在图像中定位感兴趣的对象 作为候选以供进一步评估或复查的过程。近年来，图像分割技术在先进的机器 学习方法和更深度的神经网络的辅助下取得了显著的进步。但是由于与该技术相关联的实际约束和复杂性，包括域不匹配、图像质量变化、跨人群的生理差 异等，在该领域中仍然存在许多挑战。

发明内容

本文描述了可以使用一个或多个处理器实施的与图像分割相关联的基于神 经网络的系统、方法和装置。示例系统可以包括第一编码器(encoder)神经网 络和解码器(decoder)神经网络。编码器网络可以被配置为接收包括解剖结构 的视觉表征的医学图像，并且通过一个或多个下采样操作和卷积运算来生成医 学图像的表征(例如，隐表征(latentrepresentation))。由编码器网络生成的表征 可以表示从医学图像提取的多个特征。该表征可以被提供给解码器网络，并且 解码器网络可以生成用于通过一个或多个上采样操作和去卷积运算从医学图像 分割解剖结构的掩模(例如，二值掩模(binarymask)或体积二值掩模)。

解码器网络可以被预训练以使用训练数据来学习与解剖结构相关联的形状 先验(shapeprior)，该训练数据表征解剖结构的形状分布。一旦被训练，解码器 网络就可以用于在第一编码器网络的训练期间约束第一编码器网络的输出。第 一编码器网络的这种训练可以迭代地执行，例如以级联方式或使用循环神经网 络。在训练的当前迭代期间，预训练过的解码器网络可以基于在训练的先前迭 代中由第一编码器网络生成的训练图像的表征来生成与训练图像相关联的分割 掩模，并且第一编码器网络可以基于由解码器网络生成的分割掩模和与分割掩 模相关联的金标准(例如，基于损失函数的梯度下降)来预测对训练图像的表 征的调节。

在示例中，解码器网络可以与第二编码器网络协同训练，该第二编码器网 络与第一编码器网络分离。协同训练可以包括第二编码器网络接收训练图像并 生成表示训练图像的多个特征的输出，解码网络基于第二编码器网络的输出来 预测与训练图像相关联的分割掩模，并且第二编码器网络和解码器网络基于与 分割掩模相关联的损失函数来调节它们各自的参数。在示例中，解码器网络可 以在没有对应的编码器网络的情况下被预训练，并且预训练包括解码器网络接 收训练图像的隐表征作为输入，解码器网络基于隐表征来预测与训练图像相关 联的分割掩模，并且解码器网络调节其参数，以最小化所预测的分割掩模和与 分割掩模相关联的金标准之间的损失。

附图说明

从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的 示例。

图1是例示了本文所述的示例图像分割系统的简化框图。

图2是例示了在具有对应的编码器网络的情况下训练示例解码器网络的简 化框图。

图3是例示了在没有对应的编码器网络的情况下训练示例解码器网络的简 化框图。

图4是例示了包括级联神经网络的示例分割系统的简化框图。