[发明专利]深度强化学习模型的处理方法及装置、介质、电子设备

说明书

本公开是关于一种深度强化学习模型的处理方法及装置、介质、电子设备，涉及人工智能技术领域，该方法包括：通过模型训练机器对深度强化学习模型进行划分，得到多个模型碎片，并通过模型分发进程将各模型碎片发送至中间节点；通过中间节点对模型碎片进行拼接，得到完整的序列化模型，并将完整的序列化模型发送至交互机器中；通过交互机器对完整的序列化模型进行反序列化处理，得到深度强化学习模型，并通过深度强化学习模型与预设的虚拟环境进行交互，得到训练数据；通过交互机器将训练数据发送至模型训练机器，并通过模型训练机器通过训练数据对深度强化学习模型进行训练。本公开提高了模型的分发效率。

技术领域

本公开实施例涉及人工智能技术领域，具体而言，涉及一种深度强化学习模型的处理方法、深度强化学习模型的处理装置、计算机可读存储介质以及电子设备。

背景技术

深度强化学习(DRL，Deep Reinforcement Learning)是近年来出现的一种将强化学习同深度学习相结合的技术，属于机器学习的一个子领域。

在现有的在分布式深度强化学习中，模型需要由训练机器分发至多台交互机器上，每台机器的各个交互进程获取到新模型后继续进行模型和环境的交互，最后训练机器再收集新的交互数据进行训练。其中，常用的模型分发的方案为直接分发，也即练机器直接将完整的模型依次下发到各台交互机器中。

但是，对于直接分发来说，由于模型较大，单次传输很容易就达到训练机器的带宽上限，因此模型分发效率较低。

因此，需要提供一种新的深度强化学习模型的处理方法及装置。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种深度强化学习模型的处理方法、深度强化学习模型的处理装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的模型的分发效率较低的问题。

根据本公开的一个方面，提供一种深度强化学习模型的处理方法，配置于具有模型训练机器以及交互机器的模型训练系统，所述方法包括：

通过模型训练机器对深度强化学习模型进行划分，得到多个模型碎片，并通过模型分发进程将各所述模型碎片发送至中间节点；

通过所述中间节点对所述模型碎片进行拼接，得到完整的序列化模型，并将所述完整的序列化模型发送至所述交互机器中；

通过所述交互机器对所述完整的序列化模型进行反序列化处理，得到所述深度强化学习模型，并通过所述深度强化学习模型与预设的虚拟环境进行交互，得到训练数据；

通过所述交互机器将所述训练数据发送至所述模型训练机器，并通过所述模型训练机器通过所述训练数据对所述深度强化学习模型进行训练。

在本公开的一种示例性实施例中，对深度强化学习模型进行划分，得到多个模型碎片，包括：

计算所述中间节点的节点数量，并根据所述节点数量确定所述深度强化学习模型所能划分的碎片数量；

根据所述碎片数量对所述深度强化学习模型进行等份划分，得到多个模型碎片。

在本公开的一种示例性实施例中，通过模型分发进程将各所述模型碎片发送至中间节点，包括：

通过预设的分布式执行引擎启动所述模型分发进程；

对所述模型碎片进行编码，并基于所述模型碎片的碎片编码的顺序，通过模型分发进程将各所述模型碎片一对一的发送至所述中间节点。

在本公开的一种示例性实施例中，通过所述中间节点对所述模型碎片进行拼接，得到完整的序列化模型，包括：