[发明专利]基于联盟链和联邦学习的数据管理方法、装置及设备

说明书

本发明提供一种基于联盟链和联邦学习的数据管理方法、装置及设备，方法包括，接收数据需求方发送的数据请求指令；调用智能合约将数据请求指令共享至联盟链上；在联盟链上，检索与请求数据类别相关联的数据相关节点，每个数据相关节点均包括有与请求数据类别相关联的本地数据集；基于联邦机器学习，对本地数据集进行训练，得到全局模型；根据全局模型和需求方标识输出目标数据至数据需求方，使得获得的目标数据不单单由某一节点所提供，而且基于联邦机器学习模型，使得能够将不同数据相关节点的相关数据进行融合发送至数据需求方，使得在获取到完整的目标数据的同时，还有效地保证了目标数据的准确度，提高了目标数据与需求数据的匹配度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于联盟链和联邦学习的数据管理方法、装置及设备。

背景技术

城市计算是以城市为应用场景，计算机科学技术与城市规划、交通、能源、环境和经济等学科融合的新兴领域，通过不断获取、整合和分析城市中多种异构大数据来解决城市所面临的挑战。智慧城市建设目前已经初见成效，借助人工智能、云计算、大数据现代化技术，城市计算在智慧交通、智慧医疗等领域发挥了很大作用。但同时也暴露出目前智慧城市建设还不完善，因为竞争关系、安全问题、审批流程等因素，数据在不同拥有方，云和端以及物联网节点之间的流通存在着难以打破的壁垒，形成所谓的“数据孤岛”问题，无法进行安全可信的数据共享来支持城市计算。“联邦机器学习”(Federated Machine Learning)在本质上是一种数据加密的分布式机器学习技术，参与各方可以在不披露底层数据和底层数据的加密(混淆)形态的前提下共建模型。它可以实现各个参与方的私有数据不出本地，通过加密机制下的参数交换方式，就能在不违反相关法律的情况下，建立一个虚拟的全局模型。区块链是一种去中心化、数据加密、不可篡改的分布式共享数据库，结合了智能合约的区块链技术可以作为联邦学习任务的服务平台，为联邦学习的各个参与方提供任务分发与数据共享的功能。

目前，基于区块链和联邦学习的数据共享方式，一般都是通过将数据存储于区块链内，然后数据需求方发送数据需求到区块链系统，区块链系统将相关数据返回至数据需求者，相关数据多数为某一节点提供的。

但是，单纯直接地从区块链中进行数据共享的方式，得到的目标数据与需求数据匹配度相对较低。

发明内容

本发明提供一种基于联盟链和联邦学习的数据管理方法、装置及设备，用以解决现有技术中单纯直接地从通过区块链进行数据共享，容易导致目标数据与需求数据匹配度低的缺陷，实现提高目标数据与需求数据的匹配度。

本发明提供一种基于联盟链和联邦学习的数据管理方法，包括：

接收数据需求方发送的数据请求指令，所述数据请求指令包括需求方标识和请求数据类别；

调用智能合约将所述需求方标识和所述请求数据类别共享至联盟链上；

在所述联盟链上，检索与所述请求数据类别相关联的数据相关节点，每个所述数据相关节点均包括有与所述请求数据类别相关联的本地数据集；

基于联邦机器学习，对所述本地数据集进行训练，得到全局模型；

根据所述全局模型和所述需求方标识输出目标数据至所述数据需求方。

根据本发明提供的一种基于联盟链和联邦学习的数据管理方法，所述基于联邦机器学习，对所述本地数据集进行训练，得到全局模型，包括：

基于联邦机器学习，对每个所述本地数据集分别进行训练，得到对应的本地局部模型；

基于联邦机器学习，对所述本地局部模型进行训练，得到全局模型。

根据本发明提供的一种基于联盟链和联邦学习的数据管理方法，所述根据所述全局模型和所述需求方标识输出目标数据至所述数据需求方之后，还包括：