[发明专利]分布式数据处理系统及其方法

说明书

本公开提供了一种用于分布式数据处理系统。该系统包括：注册组件，用于接收模型推理组件和模型训练组件的注册请求对其进行身份或地址注册，以便能够向环境模拟组件提供模型推理组件或模型训练组件的身份信息；模型推理组件，基于已有模型参数以及模型推理请求，推理出应采取的动作数据，以便响应模型推理请求将所述动作数据反馈给环境模拟组件；环境模拟组件，基于当前环境状态数据以及动作数据，进行环境模拟获得作为轨迹数据的模型训练数据，并基于注册组件提供的身份信息将包含模型训练数据的模型训练请求通过异步通信发送到模型训练组件；以及模型训练组件，基于模型训练请求，进行模型训练生成新模型参数，并将模型更新请求通过异步通信发送给模型推理组件，以便模型推理组件响应所述模型更新请求执行模型更新。

技术领域

本公开涉及一种人工智能领域技术，更具体地说，本公开涉及一种分布式数据处理系统及其方法。

背景技术

深度强化学习是一种重要的机器学习算法，近年来被广泛应用于智能控制、游戏AI、军事对抗等领域。随着深度强化学习技术的不断发展，深度强化学习对于大规模分布式计算的需求也在不断提升。一方面，深度强化学习所采用的模型的参数规模越来越大。另一方面，为了应对复杂的应用环境，深度强化学习需要进行超大规模的并行环境模拟。大规模的分布式强化学习不仅部署困难，而且耗费巨大。例如2016年，基于深度强化学习算法的围棋智能体alphaGo使用了1920个CPU单元以及280块GPU进进行分布式训练，其一次训练耗资百万美元。2018年，星际争霸游戏智能体alphastar使用3072块TPU和50400块CPU训练了44天，训练成本超过千万美元。一种高性能的分布式强化学习训练框架对于提高深度学习强化学习的训练效率，节约算力和开发成本，进而促进强化学习的进一步发展具有重要作用。

在现有技术中，一个典型的深度强化学习训练过程可分解为模型推理、模型训练和环境模拟三个部分。首先，这三个部分存在着资源配置不合理的问题，一方面，模型推理需求密集计算单元,诸如GPU或TPU资源，而环境模拟需求CPU资源，二者可能不会同时满足。另一方面，环境模拟和模型推理之间的计算速度不匹配，模型推理的计 算速度快，只对应单个环境的模拟会造成资源的浪费。另外，模型推理和模型训练之间传输的数据都属于大数据，对带宽需求极大。

分布式强化学习训练系统的主要目的在于实现大规模的环境并行，使智能体同时基于多个环境的模拟轨迹进行训练。当前大多数分布式强化学习训练系统遵循将模型推理和环境模拟合并在一起部署成一个整体，模型推理需求GPU资源，环境模拟需求CPU资源，部署成一个整体会导致环境模拟和模型推理之间存在资源配置不合理。而且两者部署成一个整体，导致环境模拟和模型推理之间的计算速度不匹配，模型推理的计算速度快，只对应单个环境模拟会造成资源的浪费。此外，模型推理和模型训练之间的传输的模型参数和轨迹数据都属于大数据，因此，将环境模拟和模型推理部署成一个整体导致带宽需求极大，导致对带宽的额外需求。为此，为了减少了带宽需求，增加了吞吐率，另外一种分布式强化学习训练系统遵循将模型推理和模型训练合并在一起部署成一个整体并于多个并行的环境模拟进行交互。但是这种系统也导致了模型推理和模型训练彼此之间的扩展性变差，以及降低了推理和训练之间的并行度，更为严重的是，这种训练系统导致环境模拟的延时增加，这种增加无疑严重影响了环境模拟的实时性，而环境模拟的实时性是分布式强化学习训练所必不可少的性能。

因此，人们期望获得一种分布式数据处理系统的技术方案，能够在在已有硬件条件和模拟环境下，合理的分配计算资源和带宽资源，进而提高训练效率。

发明内容