[发明专利]模型构建方法、任务分配方法、装置、设备及介质

说明书

本申请提供的模型构建方法、任务分配方法、装置、设备及介质中，训练设备将无人机辅助移动边缘计算的调度策略拆分成无人机位置优化与任务计算卸载优化两个层级的子问题，使用层次强化学习交替优化对应位置模型以及任务模型，以达到降低了每个子问题的复杂度，并且提高了整体系统的学习效率与收敛效率。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种模型构建方法、任务分配方法、装置、设备及介质。

背景技术

由于无人机(Unmanned Aerial Vehicles,UAVs)具有的高机动性和灵活性，近年来研究人员提出了使用无人机在多种应用场景下辅助移动边缘计算(Mobile EdgeComputing,MEC)的技术。在无人机辅助的移动边缘计算领域，需要对无人机的运动轨迹和无人机与移动终端之间任务进行适当的调度以获得理想的性能。其中，在对任务调度表示将同一计算任务分配给无人机或者移动终端(下面简称任务卸载)。目前，出现了基于强化学习的方法实现动态场景下无人机辅助移动边缘计算的调度策略。

发明人研究发现，随着无人机与移动终端数量的增加，使用强化学习算法的系统状态空间与动作空间会呈指数级别增长，这大大降低了算法的收敛效率。因此，对于大规模的无人机辅助的移动边缘计算网络，很难获得易收敛的调度策略。

发明内容

为了克服现有技术中的至少一个不足，第一方面，本申请实施例提供一种模型构建方法，应用于训练设备，所述训练设备配置有待训练的位置模型以及任务分配模型，所述方法包括：

初始化所述位置模型、所述任务分配模型、第一无人机的状态以及第一移动终端的状态，其中，所述第一无人机用于为所述第一移动终端提供边缘计算服务；

将所述位置模型以及任务分配模型进行以下迭代，直到满足预设的迭代条件：

根据所述第一移动终端与所述第一无人机之间当前时刻的第一状态，通过所述位置模型获得所述第一无人机下一时刻的预测位置；

根据所述预测位置更新所述位置模型的模型参数；

根据所述预测位置确定所述第一无人机与所述第一移动终端之间当前时刻的第二状态；

根据所述第二状态，通过所述任务分配模型确定所述第一无人机与所述第一移动终端之间下一时刻的任务分配结果；

根据所述任务分配结果，更新所述任务分配模型的模型参数。

第二方面，本申请实施例提供一种任务分配方法，应用于执行设备，所述执行设备配置有预训练的位置模型以及任务分配模型，所述预训练的位置模型以及任务分配模型由所述的模型构建方法进行训练获得，所述方法包括：

获取第二无人机当前时刻的第三状态；

根据所述第三状态，通过所述位置模型确定所述第二无人机在下一时刻的预测位置；

根据所述第二无人机在下一时刻的预测位置，确定所述第二无人机与第二移动终端之间的第四状态；

根据所述第四状态，通过所述任务分配模型确定所述第二无人机与所述第二移动终端之间的任务分配结果。

第三方面，本申请实施例提供一种模型构建装置，所述模型构建装置应用于训练设备，所述训练设备配置有待训练的位置模型以及任务分配模型，所述模型构建装置包括：

模型初始模块，用于将所述位置模型、所述任务分配模型、第一无人机的状态以及第一移动终端的状态进行初始化，其中，所述第一无人机用于为所述第一移动终端提供边缘计算服务；

模型初始模块，用于初始化所述位置模型、所述任务分配模型、第一无人机的状态以及第一移动终端的状态，其中，所述第一无人机用于为所述第一移动终端提供边缘计算服务；