[发明专利]基于联邦学习的多任务混合监督医疗图像分割方法及系统

权利要求书

1.一种基于联邦学习的多任务混合监督医疗图像分割方法，其特征在于，包括：

S1：在各个医疗机构分别收集用于医疗图像分割所需要的弱监督数据、完全监督数据和未标记数据，所述弱监督数据包括边界框标注训练数据和图像级标注训练数据，所述完全监督数据为像素级标注训练数据，将所述弱监督数据、所述完全监督数据和未标记训练数据作为相应医疗机构的源数据集；

S2：第一阶段，基于联邦学习的多任务网络模型，利用所述边界框标注训练数据和所述像素级标注训练数据进行预训练，得到两个不同的全局预训练联邦模型；

S21：构建多任务网络模型，所述多任务网络模型包含采用CSP-ResNeXt结构的主干网络、采用ASPP和FPN的neck、采用PAN融合多尺度信息特征图的边框检测任务分支和采用两次上采样操作的全局掩码分割任务分支；

S22：中心服务器端对所述多任务网络模型分别采用Xavier初始化和Kaiming初始化两种不同的网络模型权重初始化方法，处理得到两个不同的全局网络模型；

S23：各个客户端对所述像素级标注训练数据和所述边界框标注训练数据进行预处理操作，得到各自的第一阶段预处理图像数据；

S24：中心服务器端将两个不同的全局网络模型分别发送给各个客户端，各个客户端基于本地的第一阶段预处理图像数据进行特征提取，并根据馈送的第一阶段预处理图像数据的类型，选择对应的任务分支通过自适应监督学习个性和共性两方面的信息，得到相应任务分支的对应输出；

所述S24中根据馈送的第一阶段预处理图像数据的类型，选择对应的任务分支通过自适应监督学习个性和共性两方面的信息，具体分为：

当客户端接收到的是像素级标注训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型的主干网络、neck和全局掩码分割任务分支的参数，训练过程中通过最小化以下损失函数进行监督：

（1）

其中，是Dice损失函数，表示像素级可用标签，表示预测的分割图像结果，和分别的元素个数和的元素个数；

当客户端接收到的是边界框标注训练数据，则冻结全局掩码分割任务分支的参数，仅训练两个不同的局部训练模型的主干网络、neck和边框检测任务分支的参数，通过最小化以下损失函数进行监督：

（2）

其中，，和是调优超参数；

是分类损失采用的是二元交叉熵损失（BCE loss），公式如下所示：

（3）

其中，表示类别为c的预测概率值，c表示分类标签，S表示网络最后输出的特征图尺寸为B表示每个格子对应的锚框（anchor）的个数,表示对于每一个网格单元(的每一个锚框预测值(有无目标；1表示如果网格单元中存在目标，则第个锚框预测值对该预测有效；0表示网格单元中不存在目标；

是置信度损失，采用二元交叉熵损失函数进行计算，公式如下所示：

（4）

其中，表示目标预测置信度,表示没有目标的锚框（anchor），是，该损失考虑了预测框和边界框之间的距离、重叠率、anchor尺寸和比例，定义如下：

（5）

IOU是边界框回归损失中最常用的交并比，可以获得预测框和真实框之间的距离，从而反映检测的效果，计算公式如下：

（6）

是衡量长宽比一致性的参数，定义为：

（7）

其中，为边框预测结果，表示边界框级可用标签，为标注框的宽，为标注框的高，为预测框的宽，为预测框的高，为两个中心点的欧式距离，为标注框和预测框最小外接矩形的对角线距离；

S25：各个客户端在经过预定次数的迭代之后均得到两个不同的局部训练模型，并将所述两个不同的局部训练模型回传给中心服务器端，中心服务器端对各客户端回传的两个不同的局部训练模型进行聚合得到新的全局联邦模型，并将所述全局联邦模型发送给各个客户端再次进行训练，重复所述训练、整合步骤直到达到预定的第一阶段设定的预训练轮数，得到两个不同的全局预训练联邦模型；

S3：第二阶段，利用所述未标记训练数据、所述图像级标注训练数据、所述边界框标注训练数据和所述像素级标注训练数据基于两个不同的全局预训练联邦模型，通过迭代伪标签生成器生成伪标签；

S31：各个客户端对像素级标注训练数据、边界框标注训练数据、图像级标注训练数据和未标记训练数据分别进行预处理操作，得到第二阶段预处理图像数据；

S32：中心服务器端将第一阶段产生的两个不同的全局预训练联邦模型分别发送给各个客户端，各个客户端基于本地第二阶段预处理图像数据及其数据类型，自适应的选择监督类型，进行第二阶段网络模型的训练；

所述S32中各个客户端基于本地第二阶段预处理图像数据及其数据类型，自适应的选择监督类型，具体分为：

当客户端接收到的是像素级标注训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型的主干网络，neck和全局掩码分割任务分支的参数，利用损失函数公式（1）进行自适应监督；

当客户端接收到的是边界框标注训练数据,则同时训练两个不同的局部训练模型的边框检测任务分支和全局掩码分割任务分支的参数，利用检测任务辅助分割任务的方式进行监督学习，并通过对应的边界框标注训练数据的标签对全局掩码分割任务分支的伪标签进行修正操作；

利用检测任务辅助分割任务的方式通过最小化以下损失函数进行监督：

（8）

（9）

其中，=和为边框检测任务分支预测得到的伪标签，和为经过两个不同的全局预训练模型参数更新后的网络，和为客户端接收到的经过预处理操作之后被馈送到两个不同网络模型和的边界框训练数据，该种监督情况下，为了提升伪标签的质量，根据对应的边界框级可用标签进行伪标签修正操作，修正策略如下公式所示：

和（10）

其中，表示点乘操作，表示边界框级可用标签被转换后的像素级标签；

当客户端接收到的是图像级标注训练数据和未标记训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型的主干网络，neck和全局掩码分割任务分支的参数，并利用所述的两个不同的局部训练模型进行交叉伪标签监督；

（11）

S4：第二阶段，利用动态样本选择方法选择高质量的训练数据和伪标签；利用当前训练得到的两个不同的局部训练模型生成的伪标签之间的预测一致性，通过生成掩码的方式，选择高质量的训练数据和伪标签；

S5：基于第一阶段和第二阶段，对接收到的各个客户端迭代过程中产生的局部训练模型的参数，中心服务器端通过跨客户端的自适应权重分配程序进行全局联邦模型的参数更新。