[发明专利]一种提升分类公平性的异构分类器聚合方法

说明书

本发明提供了一种提升分类公平性的异构分类器聚合方法，针对多源异构分类器聚合中不公平监督导致的类别偏见问题，首先定量分析聚合过程中各个类别的不公平监督水平、衡量类别相关度，然后据此为每个类别定制误分类代价，并以误分类代价作为惩罚参数调整分类器聚合过程中各个类别的重要性，缓解聚合分类器对监督较弱的类别的歧视和对监督较强的类别的偏好，提升其分类公平性，使得其达到更好的性能。

技术领域

本发明涉及端智能与模型聚合领域，具体涉及一种提升分类公平性的异构分类器聚合方法。

背景技术

随着智能设备的爆炸式增长和深度学习的成熟，设备上的模型训练变得越来越普遍。这在许多方面都能得到应用，例如人脸识别。然而，由于设备上的本地训练数据和计算资源有限，本地训练得到的分类器的性能和分类能力通常不会太强。异构分类器聚合成为一种范式，可以将在多源异构设备上训练得到的在架构和目标任务上都具有异构性的本地分类器整合成一个能力更强或性能更好的综合分类器。

现有工作提出基于知识蒸馏的异构分类器聚合方法，将多源异构设备上的本地分类器看作教师，将聚合分类器看作学生，让学生模仿教师学到的特征和预测以融合教师的知识，聚合得到能够执行所有教师分类器的分类任务的综合分类器。然而，在此过程中，由于多源异构设备上的本地分类器具有异构的目标任务，在基于知识蒸馏的分类器聚合过程中传递给聚合分类器的各个类别的知识的数量和质量并不均衡，这使得聚合分类器的训练处于不公平的监督下，最终生成的聚合分类器可能存在类别偏见（即在各个类别上的分类表现不公平，属于监督较弱的类别的样本比属于监督较强的类别的样本更容易被误分类），影响聚合分类器性能。因此，亟需研究提升分类公平性的异构分类器聚合方法。

发明内容

本发明针对现有技术的不足，提供了一种提升分类公平性的异构分类器聚合方法，能够缓解聚合分类器中的类别偏见，提升其分类公平性，使其达到更好的性能。

本发明所采用的技术方案如下：

本发明公开了一种提升分类公平性的异构分类器聚合方法，包含以下步骤：

步骤1：给定若干智能设备，每个设备用本地数据训练出本地分类器，分类器在架构和目标任务具有异构性，通过聚合服务器统计这些分类器的目标类集合及其对每个类别的平均分类精度；

步骤2：设计不公平监督水平评估方法，聚合服务器根据步骤1中的统计信息，从数量和质量两个方面评估聚合分类器训练时各个类别受到的监督水平，得到类别不公平监督水平向量；

步骤3：设计类别相关度评估方法，聚合服务器将聚合分类器训练集中的图像输入到多源异构设备上的本地分类器中，得到相应的响应信息，其中反映了将图像分类到每个类别的概率，根据各个类别间的概率大小关系，评估各个类别的相关度，得到类别相关度矩阵；

步骤4：设计细粒度误分类代价矩阵定制方法，聚合服务器根据步骤2中得到的类别不公平监督水平向量和步骤3中得到的类别相关度矩阵，为每个类别定制细粒度的误分类代价，得到误分类代价矩阵；

步骤5：设计提升分类公平性的异构分类器聚合算法，其通过响应信息将多源异构分类器学到的知识传递给聚合分类器以实现分类器聚合，并在此过程中利用步骤4中生成的误分类代价矩阵对响应信息转化得到的软标签进行扰动以调整各个类别的重要性，构造能够应对不公平监督、提升分类公平性的聚合分类器损失函数，在聚合服务器上运行该算法，实现提升分类公平性的异构分类器聚合。

作为进一步地改进,本发明所述的步骤1具体为：

设置类别分类精度向量，指示多源异构分类器对每个类别的平均分类精度，的第个元素表示多源异构分类器对类别的平均分类；为每个分类器设置目标类信息指示向量，指示其目标类信息，的第个元素等于1当且仅当，否则等于0，每个智能设备将其本地分类器的目标类集合以及对每个类别的分类精度上传至聚合服务器，聚合服务器根据异构分类器上传的信息统计得到和。

作为进一步地改进,本发明所述的步骤2具体为：