[发明专利]基于深度强化学习的分布式计算卸载方法及装置

权利要求书

1.一种基于深度强化学习的分布式计算卸载方法，其特征在于，包括：

设置计算卸载框架，其中所述计算卸载框架包括至少一个终端设备、至少一个基站；

根据所述计算卸载框架建立通信模型，其中所述通信模型用于计算所述终端设备的信号噪声干扰比；

根据所述计算卸载框架建立计算模型，其中所述计算模型用于对所述终端设备进行本地计算和边缘计算；

基于所述计算卸载框架、所述通信模型和所述计算模型，将计算卸载问题建模成马尔可夫决策过程；

构造出双Critic网络的深度确定性策略梯度算法，利用所述深度确定性策略梯度算法对所述马尔可夫决策过程进行优化迭代求解，得到卸载决策。

2.根据权利要求1所述的基于深度强化学习的分布式计算卸载方法，其特征在于，所述设置计算卸载框架，包括：

选用多个所述终端设备-单个所述基站的架构设置计算卸载框架，其中各所述终端设备均设有计算任务缓存池，各所述终端设备于每个时间片内均能独立决策卸载策略。

3.根据权利要求1所述的基于深度强化学习的分布式计算卸载方法，其特征在于，所述所述通信模型用于计算当前所述终端设备的信号噪声干扰比，包括：

所述通信模型采用迫零检测算法计算当前所述终端设备的信号噪声干扰比。

4.根据权利要求1所述的基于深度强化学习的分布式计算卸载方法，其特征在于，所述所述计算模型用于对所述终端设备进行本地计算和边缘计算，包括：

在单位时间片内计算所述终端设备执行本地计算时的任务量大小；

根据所述信号噪声干扰比和传输带宽计算所述终端设备执行边缘计算时的计算卸载任务量大小。

5.根据权利要求1所述的基于深度强化学习的分布式计算卸载方法，其特征在于，所述将计算卸载问题建模成马尔可夫决策过程，包括：

将计算卸载问题的各项参数和指标对应典型的马尔可夫决策过程的四元组进行建模，其中所述四元组包括系统的状态空间、动作空间、奖励函数以及状态转移。

6.根据权利要求5所述的基于深度强化学习的分布式计算卸载方法，其特征在于，所述构造出双Critic网络的深度确定性策略梯度算法，包括：

利用双Critic网络分别拟合所述奖励函数中的功率和缓存池计算任务队列两部分的Q值，构造出深度确定性策略梯度算法。

7.一种基于深度强化学习的分布式计算卸载装置，其特征在于，包括：

设置模块，用于设置计算卸载框架，其中所述计算卸载框架包括至少一个终端设备、至少一个基站；

第一建立模块，用于根据所述计算卸载框架建立通信模型，其中所述通信模型用于计算所述终端设备的信号噪声干扰比；

第二建立模块，用于根据所述计算卸载框架建立计算模型，其中所述计算模型用于对所述终端设备进行本地计算和边缘计算；

建模模块，用于基于所述计算卸载框架、所述通信模型和所述计算模型，将计算卸载问题建模成马尔可夫决策过程；

迭代模块，用于构造出双Critic网络的深度确定性策略梯度算法，利用所述深度确定性策略梯度算法对所述马尔可夫决策过程进行优化迭代求解，得到卸载决策。

8.根据权利要求7所述的基于深度强化学习的分布式计算卸载装置，其特征在于，所述设置模块设置计算卸载框架，包括：

选用多个所述终端设备-单个所述基站的架构设置计算卸载框架，其中各所述终端设备均设有计算任务缓存池，各所述终端设备于每个时间片内均能独立决策卸载策略。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至6中任一项所述的基于深度强化学习的分布式计算卸载方法。

10.一种计算机可读存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至6中任一项所述的基于深度强化学习的分布式计算卸载方法。