[发明专利]一种对任务规划模型并行训练的资源分配方法

说明书

本申请实施例在于提供一种对任务规划模型并行训练的资源分配方法，属于计算机领域。所述方法包括：获取仿真训练环境单次运行时占用硬件资源的环境资源占用参数和任务规划模型单次更新时占用硬件资源的模型更新占用参数；基于环境资源占用参数和模型更新占用参数，在当前硬件上生成主节点并为主节点分配当前硬件上配置的部分资源；获取控制参数；基于控制参数和当前硬件上剩余的硬件资源，生成多个子节点，当前硬件上剩余的硬件资源，包括剩余CPU的数量、剩余GPU的数量、每个CPU的剩余资源和每个GPU的剩余资源；将剩余的硬件资源分配给多个子节点。本申请旨在解决任务规划模型训练过程中的资源分配问题。

技术领域

本申请实施例涉及计算机的领域，具体而言，涉及一种对任务规划模型并行训练的资源分配方法。

背景技术

近年来，在数据与算力的双重驱动下，人工智能技术在解决与特征提取和表达相关的应用问题上取得了突出的进展，在环境污染问题的监测、应急救灾上都发挥了很重要的作用。目前，一般在环境污染问题监测和应急救灾上，一般是采用无人机进行监测，因为环境污染问题和应急救灾一般预先不清楚具体的情况，因而在使用无人机对环境进行监测的过程中，需要训练任务规划模型对无人机的飞行路径和目的地进行规划。

对于无人机任务规划问题，训练环境通常仅能通过仿真手段进行构建，仿真模型和数据准确程度难以界定，即便建立起逼真度极高的仿真模型，但由于精细模型通常计算复杂度高，在模型训练中训练效率低，难有使用价值，有时甚至为了满足训练效率要求需忍受模型逼真度的降低，导致模型有效性下降。此外，为了使模型鲁棒性高，需要在仿真训练环境中增加各类可能的随机扰动因素，随机扰动考虑的越完善、范围越大，理论上训练出的模型效果越好，但即使这样，在实际应用中也可能遇到超过训练环境设定的情况，需要快速调整训练环境，对模型进行临机快速再训练。

采用深度强化学习技术构建复杂多约束下的任务规划模型，其本身训练收敛就非常耗时，若再考虑上述提到的仿真训练环境中增加一定量的精细模型和在仿真训练环境中增加更多的随机扰动因素等，训练耗时会大幅增加，更加无法支撑实际应用时模型临机再训练，综上所述，训练耗时严重是制约基于深度强化学习技术构建任务规划模型实际应用的重要因素之一。

为此，研究人员提出了并行训练架构解决上述问题，其中较为典型的方法为A3C和A2C，其中A3C方法构建主节点和多个子节点，由子节点独立训练模型，并将子节点训练的模型参数同步给主节点，主节点独立的接收不同子节点发送来的参数，并不间断的根据接收到的参数更新主节点模型的参数，将更新后的模型同步给对应的子节点，其中A2C方法也构建主节点和多个子节点，不同的是子节点仅收集样本数据同步给主节点，主节点根据接收到的样本更新模型，并将更新或的模型同步给子节点。

然而针对不同的任务规划问题适合的深度强化学习算法不同、采用的仿真训练环境也不同，在一定的硬件条件下，对于不同算法架构的最有效的并行策略也不同。例如采用子节点只负责向主节点输送样本的算法架构的任务，子节点通常对于图形处理器即GPU要求不高，对于子节点要独立计算模型参数向主节点共享模型参数的任务，子节点对GPU和CPU都有较高的要求。

针对不同的无人机任务规划问题，在不同的硬件资源条件下，具有面向不同任务规划具体问题的任务规划模型并行训练时，硬件资源不能灵活配置，导致任务规划模型训练效率低的问题。

发明内容

本申请实施例提供一种对任务规划模型并行训练的资源分配方法，旨在解决任务规划模型训练过程中的资源分配问题，以提高任务规划模型的训练效率。

第一方面，本申请实施例提供一种对任务规划模型并行训练的资源分配方法，所述任务规划模型为用于环境问题监测的模型，所述方法包括：

获取仿真训练环境单次运行时占用硬件资源的环境资源占用参数和任务规划模型单次更新时占用硬件资源的模型更新占用参数；所述仿真训练环境为训练所述任务规划模型的软硬件环境；