[发明专利]基于联邦学习实现数据集构建处理的系统及其构建生成方法有效
申请号: | 202010535169.2 | 申请日: | 2020-06-12 |
公开(公告)号: | CN111695701B | 公开(公告)日: | 2021-08-13 |
发明(设计)人: | 伊世林;曾维 | 申请(专利权)人: | 上海富数科技有限公司 |
主分类号: | G06N20/20 | 分类号: | G06N20/20;G06K9/62 |
代理公司: | 上海智信专利代理有限公司 31002 | 代理人: | 王洁;郑暄 |
地址: | 201802 上海市嘉定区科*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 联邦 学习 实现 数据 构建 处理 系统 及其 生成 方法 | ||
1.一种基于联邦学习实现数据集构建处理的系统,其特征在于,所述的系统包括:
数据集管理模块,与历史数据集相连接,用于导出和管理数据集;
数据集生成模块,与所述的数据集管理模块相连接,用于参与节点根据数据生成规则各自完成本节点数据集的生成,并反馈状态至中心节点;
所述的数据集管理模块包括:
数据集上传单元,与历史数据集相连接,用于上传数据集进行有依赖初始化;
数据集导出单元,与数据集上传单元和数据集生成模块相连接,用于本地导出和保存生成的数据集;
所述的系统进行以下处理:
(1)判断是否依赖初始化,如果是,则继续上传历史数据样本集;否则,继续步骤(2);
(2)使用规则生成器生成数据集规则;
(3)判断是否分布式分发,如果是,则继续步骤(4);否则,继续步骤(6);
(4)发送数据集规则给参与节点,判断是否有依赖初始化,如果是,则继续步骤(5);否则,参与节点根据数据集规则生产数据集,继续步骤(8);
(5)发送历史数据集给参与节点,参与节点根据数据集规则和历史数据集生产数据集,继续步骤(8);
(6)判断是否有依赖初始化,如果是,则拉取数据集;否则,继续步骤(7);
(7)生成数据集,判断是否公平分发,如果是,则公平分发到参与节点,继续步骤(8);否则,根据权重分发数据到参与节点,继续步骤(8);
(8)进行状态汇总。
2.根据权利要求1所述的基于联邦学习实现数据集构建处理的系统,其特征在于,所述的数据生成规则包含初始化规则和数据变异规则,所述的初始化规则包含无依赖初始化和有依赖初始化。
3.根据权利要求2所述的基于联邦学习实现数据集构建处理的系统,其特征在于,所述的无依赖初始化在无数据的基础上,根据特征名生成规则、特征类型生成规则和数据生成规则,构建出一组原始数据集。
4.根据权利要求2所述的基于联邦学习实现数据集构建处理的系统,其特征在于,所述的有依赖初始化是在历史数据的基础上,增加历史数据函数式变化和历史数据乱序,提取新的生成规则。
5.根据权利要求1所述的基于联邦学习实现数据集构建处理的系统,其特征在于,所述的数据生成规则包含数据单调性构建、常数构建、数据边界构建、函数构建、数据集合构建和数据周期性构建。
6.根据权利要求1所述的基于联邦学习实现数据集构建处理的系统,其特征在于,所述的数据集的生成方式分为单机生成模式和分布式生成模式,所述的单机生成模式中主节点根据数据集生成规则生成数据集,分发给参与节点。
7.根据权利要求6所述的基于联邦学习实现数据集构建处理的系统,其特征在于,所述的单机生成模式的分发过程包含公平分发和非公平分发两种分发方式。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海富数科技有限公司,未经上海富数科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010535169.2/1.html,转载请声明来源钻瓜专利网。