[发明专利]一种基于分组加权的多机构联合的图像识别模型训练方法

说明书

本发明公开一种基于分组加权的多机构联合的图像识别模型训练方法，该方法可以应用于医疗图像识别等拥有多个参与方的协作学习任务。为了缓解医疗图像数据分布不一致带来的影响，首先，本发明根据客户端模型和组内全局模型的相似程度为客户端分组；对于组内客户端，本发明根据组内客户端本地模型两两之间的相似程度，为每个客户端计算个性化模型。相比现有技术，本发明能够在降低客户端计算开销的同时，为参与方提供更好的图像识别模型。

技术领域

本发明涉及一种基于分组加权的多机构联合的图像识别模型训练方法，具体是一种基于分组加权的多医疗机构联合的医疗图像识别模型训练方法，可用于多家医疗机构联合训练医疗图像识别模型。该方法能够利用来自不同医疗机构、分布不同的医疗图像数据，为每个参与方学习个性化图像识别模型，使得参与方得到的图像识别模型在其本地数据分布上具有较好的性能。

背景技术

联邦学习是一种新型的机器学习范式，它旨在让多个参与方在不上传本地数据的情况下，协作地训练机器学习模型。联邦学习能够起到降低通信开销、保护隐私的作用。此外，由于各参与方并行地进行训练，联邦学习能显著地提升训练效率，缓解中央服务器的计算和存储压力。联邦学习在手机输入预测、跨医院医疗图像识别、跨银行金融数据预测等需要多方协作的领域已有了广泛的应用。

其中，在多家医疗机构联合训练医疗图像识别模型的任务中，出于对患者隐私的考虑，医院通常不能上传本地医疗图像数据至一个集中的服务器进行训练。因此在该场景下，使用联邦学习进行训练是可行的解决方案之一。然而，在该场景下使用联邦学习仍将面临一些问题。其中，数据的异质性是最常见的问题之一。不同医院的患者图像数据的分布通常是不同的，这种非同分布的数据可能会对联邦学习的训练产生负面的影响，为所有医院返回相同的模型也可能导致模型与其本地数据分布不匹配。因此，许多方法着眼于为每个参与方返回更适合其本地数据分布的个性化模型。然而，在一些场景中，参与方的数量可能是非常多的。参与方数量的增长可能加重数据的不一致程度，同时也使得为每个参与方计算个性化模型的开销和难度大大增加。

发明内容

发明目的：多家医疗机构合作学习医疗图像识别模型是联邦学习的典型应用场景之一。在众多联邦学习框架中，个性化联邦学习方法为每个参与方(医疗机构)返回个性化的模型，使其能更好的匹配本地的医疗图像数据。由于不同医院的数据分布通常是不同的，个性化联邦学习往往能取得更好的效果。然而，已有的个性化联邦学习存在参与方计算开销和通信开销大等问题，且在参与方数据分布的不一致程度较严重时，其他参与方不相关的数据可能会对个性化模型的计算产生负面影响，针对现有技术中存在的问题与不足，本发明提供一种基于分组加权的多机构联合的图像识别模型训练方法，首先，该方法动态地将参与方分配到与其相似的组别，以排除不相关数据的影响并减少后续计算的开销；对于组内客户端，该方法为其计算个性化的模型加权系数，从而进一步提升个性化效果。

技术方案：一种基于分组加权的多机构联合的图像识别模型训练方法，涉及客户端和服务器：

客户端：是联邦学习的参与方，即医疗机构。设共有n个客户端参与联邦学习。每个客户端拥有本地医疗图像数据，维护一组本地模型。

服务器：联邦学习的中央协调者(高性能服务器或计算集群)，负责聚合客户端上传的模型；第一阶段中服务器维护K组全局模型，第二阶段中服务器每轮通信时为每个客户端计算一组个性化模型；服务器拥有用于模型相似度计算的医疗图像辅助数据集D_aux。

一种基于分组加权的多机构联合的图像识别模型训练方法，包括下列阶段：

初始化阶段：服务器初始化K组全局模型；将n个客户端随机分配至K个组中的一组；

客户端分组阶段，将客户端进行动态分组，从而排除数据分布不同的不相关客户端的影响，提升个性化效果，同时降低个性化模型的计算开销：

11)服务器将客户端所在组别的全局模型发送给客户端；