[发明专利]基于隐私保护更新业务模型的方法、装置及系统

说明书

本说明书实施例提供一种基于隐私保护更新业务模型的方法，针对联邦学习过程中，各个业务方提供不同结构的图数据（异构图），无法统一建模的问题，提出一种模型参数局部相一致的技术构思，通过模型基的设置，一个模型基包括若干基准参数，各个业务方利用模型基的线性组合构建本地模型参数向量或矩阵，从而构建本地业务模型。在联邦学习过程中，业务方上传本地梯度、服务方更新全局梯度、业务方更新本地模型参数，均以模型基为单元。这种局部更新模型参数的技术方案，有效打破异构图下的联邦学习壁垒，提供全新的联邦学习思路，并可推广至各种业务模型。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及基于隐私保护更新业务模型的方法、装置及系统。

背景技术

计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。联邦学习是一种在保护隐私数据情况下进行联合建模的方法。例如，企业与企业之间需要进行合作安全建模，可以进行联邦学习，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练，从而更准确、有效地处理业务数据。在联邦学习场景中，各方例如可以商定模型结构（或约定模型）后，各自使用隐私数据在本地进行训练，并将模型参数使用安全可信的方法进行聚合，最后各方根据聚合后模型参数改进本地模型。联邦学习在隐私保护基础上，有效打破数据孤岛，实现多方联合建模。

图数据是一种描述各种实体之间的关联关系的数据，在联邦学习过程中，各个业务方通常可能持有不同结构的图数据。例如，第一方银行持有用户、借贷业务、收入三种实体对应的节点及其关联关系的图数据，第二方本地生活服务平台持有用户、借贷业务、商品或服务三种实体对应的节点及其关联关系的图数据。由于不能相互泄露本地隐私数据，给图神经网络的训练提出了难题。

发明内容

本说明书一个或多个实施例描述了一种基于隐私保护更新业务模型的方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供一种基于隐私保护更新业务模型的方法，其中，所述业务模型用于基于对相关业务数据进行处理，以确定相应的业务处理结果，并由服务方辅助多个业务方共同训练，所述方法包括：所述多个业务方协商确定多个模型基，其中单个模型基为包含若干基准参数的参数单元；各个业务方分别基于各个模型基在预定方式下的组合，构建本地业务模型；各个业务方分别利用本地的业务模型处理本地训练样本，从而确定各个模型基分别对应的各条梯度数据，并分别发送至服务方；服务方响应于单个模型基满足梯度更新条件，融合该单个模型基的各条梯度数据，得到该单个模型基对应的全局梯度数据，并将所述全局梯度数据反馈至各个业务方；各个业务方根据融合后的全局梯度数据更新本地的相应模型基中的基准参数，以迭代训练本地业务模型。

在一个实施例中，所述梯度更新条件包括以下中的至少一项：所接收到的模型基的梯度数据条数达到预定数量；更新周期到达。

在一个实施例中，服务方通过以下中的一项融合接收到的单个模型基的各条梯度数据：求均值、加权平均、通过预先训练的长短期记忆模型处理按照时间顺序排列的各条梯度数据。

在一个实施例中，所述业务模型为图神经网络，各个业务方分别持有依赖于本地数据构建的各个图数据，各个图数据为异构图。

在一个实施例中，单个模型基的单条梯度数据包括，该单个模型基中各个基准参数分别对应的各个梯度。

在一个实施例中，所述预定方式为线性组合方式。