[发明专利]基于分层个性化联邦学习的用户画像实现方法及系统

说明书

本发明公开了一种基于分层个性化联邦学习的用户画像实现方法及系统，针对不同客户端的用户数据，各个客户端独自使用一个用户模型建模用户特质，对用户进行建模。客户端分成分地将用户模型提交给服务器，并实现敏感信息的隐藏。服务器分成分地加权各个模型的参数，得到全局用户模型。最终客户端结合全局用户模型更新局部用户模型以更好的利用各个不一致的客户端的数据信息和模型，并且保持数据隐私，最终更加准确的追踪建模用户特质。弥补了现有方法泄露隐私信息，不适应不一致客户端等弊端。

技术领域

本发明涉及用户画像技术领域，尤其涉及一种基于分层个性化联邦学习的用户画像实现方法及系统。

背景技术

用户画像是一个重要的基础性工作，其目的在于帮助研究人员利用个人数据获取有用的潜在特征。用户画像已经应用于多个典型的任务，为具有各种需求的用户提供适当的用户模型，例如用户的能力或偏好。例如，在教育系统中，用户画像在认知诊断任务中辅助建模学生能力，而在电子商务的推荐系统中，用户画像负责建模客户的偏好。

一般情况下，用户画像是一个使用集中的数据进行集中培训的过程，这会导致隐私泄露。针对这一困境，联邦用户画像因其具有安全的分布式用户画像的潜力而受到广泛关注。它旨在基于隔离的私有数据建立和聚合用户模型，以保持数据的隐私性。

然而，目前的联邦学习框架是为一致的客户端设计的，在实际的用户画像场景中，不可避免的会遇到不一致的客户端。因此，联邦用户画像面临着客户端不一致的困境。

1)统计异质性。与传统场景中假设的数据为独立同分布的不同，用于用户画像的个人记录通常是非独立同分布的，这导致在客户端之间存在统计差异和个性化。基于一致的全局模型训练客户端的本地模型，不可避免地消除了客户端的个性化，降低了描述用户特征的能力。因此，需要对用户模型的个性化信息进行整合，以适应统计异质性。

2)隐私异质性。根据相关研究，不同的数据信息具有不同程度的隐私性。一方面，在联邦学习的过程中，轻率地共享表示会带来隐私暴露的风险。另一方面，为了保护隐私而丢弃敏感信息会导致信息的丢失。因此，应该灵活地对隐私异构的信息应用专门的联邦学习设置，以便在用户模型之间平衡需要保护或共享的信息。

3)模型异质性。主流的联邦学习方法期望建立一个通用的全局模型来建模所有的客户端。然而，在实际的用户画像应用程序中，由于私有数据的属性不同，不同客户端之间的用户模型结构往往不同。因此，在联邦学习中处理异构用户模型的策略也需要仔细设计。

联邦学习的主要思想是基于跨多个设备存储的数据构建机器学习模型，首先进行多个客户端本地模型的训练，在本地模型构建和训练过程中不涉及到其他客户端数据的交互。在本地模型聚合步骤，只涉及模型参数的传递和聚合。从而防止了数据泄漏，保护了数据隐私。从技术角度来看，现有的联邦学习算法主要分为，水平联邦学习，垂直联邦学习和联邦迁移学习三类。

然而，目前的联邦学习是基于客户端一致的假设提出的，并为所有客户端提供了一个统一的模型，这是脱离实际场景的。此外，上述方法还存在隐私泄露的风险，特别是当提交的模型包含敏感表示信息时，如用户模型中的用户表示。不幸的是，常用的隐私保护方法如差分隐私联邦学习，面临着保密性和准确性不能兼得的困境。因此，在实际应用中应用联邦学习仍然存在一些困难。

发明内容

本发明的目的是提供一种基于分层个性化联邦学习的用户画像实现方法及系统，考虑用户画像过程中用户客户端的不一致性，为多个客户端提供具有层次化信息(公开信息与私有信息)的个性化用户模型，产生的用户模型能够充分利用隔离的不一致的私密数据，较为准确合理的实现用户画像。

本发明的目的是通过以下技术方案实现的：

一种基于分层个性化联邦学习的用户画像实现方法，包括：

各客户端各自搜集内部的用户数据；