[发明专利]用于利用具有分布式数据生成模型的连续联合学习的深度学习技术的系统和方法

说明书

本发明提供了一种计算机实现的方法。该方法包括通过多个处理器建立连续联合学习框架(22)，该连续联合学习框架包括在全局站点(12)处的全局模型(16)和在相应本地站点(14)处从全局模型(16)导出的相应本地模型(18)。该方法还包括不在该全局站点(12)和该相应本地站点(14)之间共享实际数据集而是共享从该实际数据集生成的合成数据集的情况下，通过该多个处理器再训练或重新调整该全局模型(16)和该相应本地模型(18)。

背景技术

本文公开的主题涉及深度学习技术，并且更具体地，涉及用于利用具有分布式数据生成模型的连续联合学习的深度学习技术的系统和方法。

已经证明深度学习模型成功地解决了涉及出现在计算机视觉、语音处理、图像处理和其他问题中的足够大的、平衡的和标记的数据集的问题。理想地，希望这些模型不断地学习并适应新的数据，但是这对于神经网络模型仍然是一个挑战，因为这些模型中的大多数模型是用静态的大批量数据进行训练的。用增量数据进行再训练通常导致灾难性遗忘(即，用新信息来训练模型会干扰先前学习的知识)。

理想情况下，人工智能(AI)学习系统应该在改进现有知识的同时不断地适应和学习新知识。当前的AI学习方案假设在训练阶段期间所有样本都是可用的，因此需要在整个数据集上对网络参数进行再训练，以适应数据分布的变化。尽管从头开始的再训练实际上解决了灾难性遗忘，但是在许多实际场景中，数据隐私问题不允许共享训练数据。在这些情况下，用增量新数据进行再训练可能导致准确性的显著损失(灾难性遗忘)。

发明内容

下文示出了本文所公开的某些实施方案的概述。应当理解，提供这些方面仅仅是为了向读者提供这些特定实施方案的简要概述，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下文可能未示出的各个方面。

在一个实施方案中，提供了一种计算机实现的方法。该方法包括通过多个处理器建立连续联合学习框架，该连续联合学习框架包括在全局站点处的全局模型和在相应本地站点处从全局模型导出的相应本地模型。该方法还包括不在全局站点和相应本地站点之间共享实际数据集而是共享从实际数据集生成的合成数据集的情况下，通过多个处理器再训练或重新调整全局模型和相应本地模型。

在另一个实施方案中，提供了一种基于深度学习的连续联合学习网络系统。该系统包括全局站点，该全局站点包括全局模型。该系统还包括多个本地站点，其中多个本地站点中的每个相应本地站点包括从全局模型导出的相应本地模型。该系统还包括多个处理器，其被配置为不在全局站点和相应本地站点之间共享实际数据集而是共享从实际数据集生成的合成数据集的情况下，再训练或重新调整全局模型和相应本地模型。

在另一个实施方案中，一种非暂态计算机可读介质，该计算机可读介质包括处理器可执行代码，该处理器可执行代码在由一个或多个处理器执行时使一个或多个处理器执行动作。动作包括建立连续联合学习框架，该连续联合学习框架包括在全局站点处的全局模型和在相应本地站点处从全局模型导出的相应本地模型。动作还包括不在全局站点和相应本地站点之间共享实际数据集而是共享从实际数据集生成的合成数据集的情况下，再训练或重新调整全局模型和相应本地模型。

附图说明

当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其他特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：

图1是根据本公开的各方面的连续联合学习方案或场景的示意图的实施方案；

图2是根据本公开的各方面的连续联合学习方案或场景(例如，利用分布式数据生成模型)的示意图的实施方案；

图3是根据本公开的各方面用于全局站点和本地站点的集中式布置的示意图的实施方案；

图4是根据本公开的各方面用于全局站点和本地站点的分散式布置的示意图的实施方案；

图5是根据本公开的各方面可被配置为实现本文所述功能的基于处理器的设备或系统的框图；