[发明专利]基于联邦学习实现数据集构建处理的系统及其构建生成方法

说明书

本发明涉及一种基于联邦学习实现数据集构建处理的系统，包括数据集管理模块，与历史数据集相连接，用于导出和管理数据集；数据集生成模块，与所述的数据集管理模块相连接，用于参与节点根据数据生成规则各自完成本节点数据集的生成，并反馈状态至中心节点。本发明还涉及一种基于联邦学习实现数据集构建的生成方法。采用了本发明的基于联邦学习实现数据集构建处理的系统及其构建生成方法，不同于之前联邦学习需要依靠自有样本集进行训练和使用，联邦学习数据集构建系统提供了多规则、多方式的仿真数据生成模式，为联邦学习各节点的学习训练提供所需数据集，可以有效的扩展数据使用链路，覆盖多种使用场景。

技术领域

本发明涉及数据处理领域，尤其涉及人工智能领域，具体是指一种基于联邦学习实现数据集构建处理的系统及其构建生成方法。

背景技术

联邦学习(Federated Learning)是一种新兴的人工智能基础技术，在2016年由谷歌最先提出,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。联邦学习在训练和模型评估阶段都需要大量的数据集，但是实际使用过程中，数据集往往是稀缺资源，特别是在系统验收阶段，现有的数据集往往不能覆盖算法的各种训练和使用场景。为此，提出一种联邦学习数据集构建方案，便于生成不同场景下的联邦学习所需要的数据。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足操作简便、适用范围较为广泛的基于联邦学习实现数据集构建处理的系统及其构建生成方法。

为了实现上述目的，本发明的基于联邦学习实现数据集构建处理的系统及其构建生成方法如下：

该基于联邦学习实现数据集构建处理的系统，其主要特点是，所述的系统包括：

数据集管理模块，与历史数据集相连接，用于导出和管理数据集；

数据集生成模块，与所述的数据集管理模块相连接，用于参与节点根据数据生成规则各自完成本节点数据集的生成，并反馈状态至中心节点。

较佳地，所述的数据集管理模块包括：

数据集上传单元，与历史数据集相连接，用于上传数据集进行有依赖的初始化；

数据集导出单元，与数据集上传单元和数据集生成模块相连接，用于本地导出和保存生成的数据集。

较佳地，所述的数据集生成规则包含初始化规则和数据变异规则，所述的初始化规则包含无依赖的初始化和有依赖的初始化。

较佳地，所述的无依赖的初始化在无数据的基础上，根据特征名生成规则、特征类型生成规则和数据生成规则，构建出一组原始数据集。

较佳地，所述的有依赖的初始化是在历史数据的基础上，增加历史数据函数式变化和历史数据乱序，提取新的生成规则。

较佳地，所述的数据生成规则包含数据单调性构建、常数构建、数据边界构建、函数构建、数据集合构建和数据周期性构建。

较佳地，所述的联邦学习数据集的生成方式分为单机生成模式和分布式生成模式，所述的单机生成模式中主节点根据数据集生成规则生成数据集，分发给参与节点。

较佳地，所述的单机生成模式的分发过程包含公平分发和非公平分发两种分发方式。

该利用上述系统实现基于联邦学习的数据集构建生成的方法，其主要特点是，所述的方法包括以下步骤：

(1)判断是否依赖初始化，如果是，则继续上传历史数据样本集；否则，继续步骤(2)；

(2)使用规则生成器生成数据集规则；

(3)判断是否分布式分发，如果是，则继续步骤(4)；否则，继续步骤(6)；