[发明专利]基于联邦学习的多任务混合监督医疗图像分割方法及系统

说明书

本发明公开了一种基于联邦学习的多任务混合监督医疗图像分割方法及系统，包括：基于各种弱监督数据以及完全监督和未标记数据的数据采集模块；基于联邦学习的第一阶段多任务网络模型模块，基于第二阶段伪标签生成模块，基于第二阶段动态样本选择模块，基于不同阶段的联邦模型动态更新模块。本发明打破了单一标签类型的限制，提出一种基于联邦学习的多任务混合模型架构，通过检测任务辅助医学图像分割任务联合各方数据进行协同建模，确保患者隐私的基础上，打破各方的数据孤岛，不仅充分地挖掘多机构数据的潜能和深层价值，而且充分利用任务之间的关系进而挖掘有效的上下文特征，实现不同层次特征之间的信息互补，进而提高模型的准确性和鲁棒性。

技术领域

本发明涉及一种图像分割技术领域，尤其涉及一种基于联邦学习的多任务混合监督医疗图像分割方法及系统。

背景技术

医学图像分割是支持计算机辅助诊断图像内容分析的代表性任务，它不仅可以识别病变类别，还可以定位特定区域，在临床诊断中发挥着重要作用。随着计算机硬件性能的提高，基于深度学习的图像分割技术已成为处理医学图像的有力工具。医学图像分割深度学习模型的优化通常依赖于大量带注释的不同来源的像素级训练数据。然而，由于极高的像素级注释成本和医学图像标注所需的极高专业知识，各个医疗机构的像素级标注图像非常有限，并且大多数可用的图像是未标注或弱标注的。另一方面，医疗机构之间敏感患者信息的严格共享协议导致数据共享非常困难，因而收集庞大的像素级病例注释数据往往是一项非常艰巨的任务，而仅仅利用这些规模小，数据分布不均衡，信息含量少的像素级数据不足以训练出鲁棒性和泛化能力充足的模型。联邦学习（FL）作为一种分布式学习框架，旨在让多个客户不共享原始数据的情况下充分利用所有可用的数据进行跨机构协作，能够在保证数据隐私安全性的基础上，帮助用户实现共同建模，从而增强模型性能，这项技术的应用将在医疗领域发挥越来越重要的作用。

在公开号CN113571203A的专利文献中，公开了多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统，所述方法基于C-S架构构建多中心的联邦学习模型，通过各中心分布式存储的患者电子病历信息联合影像组学特征与深度学习特征建立全面的脑肿瘤预后生存期分类模型，虽然该脑肿瘤预后生存期预测方法及系统提出的主动学习探索了在联邦学习中自动标记训练样本的利用每个本地设备上可用的未标记数据来构建全局模型，但该技术并未使用弱标记图像如图像级类别标签和边界框标签。而往往这些弱标记图像比无标注图像更具利用价值；且与像素级标签相比，弱标签不仅广泛可用而且获取成本更低。

现有技术目前存在的缺点：

在临床实践中，不同的机构可能在数据质量、数量和监督可用性方面存在很大差异。不当使用这些数据可能会导致不同客户端之间的医学图像分割性能显著下降。在标准FL模型的训练过程中，每个本地客户端首先从服务器下载联邦模型并在本地更新模型；然后，将每个客户端本地训练的模型参数发送回服务器；最后，聚合所有客户端的模型参数以更新全局联合模型。大多数现有的FL框架要求每个本地客户端用于训练的数据需要遵循相同级别的标签，这很大程度上限制了模型的学习能力。

尽管一些半监督联邦学习方法试图在训练中利用除像素级标记图像之外的未标记数据，但它们没有考虑监督可用性的变化，即不同的客户端有不同级别的图像标签。有效地利用来自这些具有不同标签强度级别的弱标记数据以及未标记数据的信息，特别是对于没有像素级标记数据的客户端，将非常有利于提高联邦模型的鲁棒性，同时防止训练不稳定性。

为此，我们提出一种基于联邦学习的多任务混合监督医疗图像分割方法及系统。

发明内容

本发明为了解决上述技术问题，提出一种基于联邦学习的多任务混合监督医疗图像分割方法及系统。

本发明采用的技术方案如下：

一种基于联邦学习的多任务混合监督医疗图像分割方法，包括：