[发明专利]强化学习的迁移训练优化方法、装置、终端及存储介质

说明书

本发明公开了一种强化学习的迁移训练优化方法、装置、终端设备及计算机可读存储介质，通过获取各预设环境的训练设备基于强化学习训练所得到的各训练模型；对各所述训练模型进行联邦处理以生成联邦模型；将所述联邦模型迁移适配至各所述预设环境，以供各所述预设环境的所述训练设备根据所述联邦模型优化强化学习训练。本发明充分利用预设环境中训练设备进行强化训练得到的训练模型，不仅能够很好的保护用户数据隐私，还避免了传统的强化学习训练方式进行强化学习时传输数据的高成本、长时延的问题，优化提升了工业强化学习模型的稳定性和模型训练的整体效率。

技术领域

本发明涉及Fintech(金融科技)技术领域，尤其涉及一种强化学习的迁移训练优化方法、装置、终端设备及计算机可读存储介质。

背景技术

时下工业界应用强化学习的训练方式通常为，先从仿真环境和现实环境收集大量训练数据，然后将训练数据集中汇总以训练强化学习(或其他机器学习)模型，最后将训练好的模型部署至仿真环境和现实环境中，并由仿真环境和现实环境继续收集训练数据进行训练。

由于仿真环境和现实环境均为数据收集的过程，而强化学习模型的训练和下发过程均在完成数据收集之后进行，而基于强化学习实时训练的要求，致使传统的强化学习训练方式需要保留和迁移仿真环境和现实环境所收集到的数据，而基于数据传输带宽、传输时延以及涉及用户隐私等因素的限制，导致传统的强化学习训练方式进行强化学习的稳定性差、整体训练效率低。

发明内容

本发明的主要目的在于提供一种强化学习的迁移训练优化方法、装置、终端设备及计算机可读存储介质，旨在解决现有的强化学习训练方式进行强化学习的稳定性差、整体训练效率低的技术问题。

为实现上述目的，本发明提供一种强化学习的迁移训练优化方法，所述强化学习的迁移训练优化方法包括：

获取各预设环境的训练设备基于强化学习训练所得到的各训练模型；

对各所述训练模型进行联邦处理以生成联邦模型；

将所述联邦模型迁移适配至各所述预设环境，以供各所述预设环境的所述训练设备根据所述联邦模型优化强化学习训练。

进一步地，所述将所述联邦模型迁移适配至各所述预设环境的步骤，包括：

读取各所述预设环境的环境参数；

按照所述环境参数对所述联邦模型进行调整以将所述联邦模型迁移适配至各所述预设环境。

进一步地，各所述预设环境包括：各仿真环境和各现实环境，

所述获取各预设环境的训练设备基于强化学习训练所得到的各训练模型的步骤，包括：

检测各所述仿真环境的训练设备基于实时强化学习训练完成的各训练模型的存储队列，并按照预设周期从所述存储队列中随机提取各训练模型；

按照所述预设周期获取各所述现实环境的训练设备基于实时强化学习训练完成的各训练模型。

进一步地，在所述检测各所述仿真环境的训练设备基于实时强化学习训练完成的各训练模型的存储队列的步骤之前，还包括：

构建与各所述现实环境相对应的各所述仿真环境，并在各所述仿真环境中基于所述训练设备实时进行强化学习训练以得到所述训练模型。

进一步地，所述构建与各所述现实环境相对应的各所述仿真环境的步骤，包括：

检测各所述现实环境所属的工业领域；

调用所述工业领域的模拟软件构建各所述仿真环境，其中构建出的所述仿真环境的个数大于等于所述现实环境的个数。

进一步地，所述对各所述训练模型进行联邦处理以生成联邦模型的步骤，包括：