[发明专利]一种配电物联网下基于Q-Learning的边缘节点资源分配方法及系统

权利要求书

1.一种配电物联网下基于Q-Learning的边缘节点资源分配方法，其特征在于，包括：

基于执行配电物联网智能节点所有计算任务的计算策略构建状态空间矩阵；

基于所述状态空间矩阵依次利用预先构建的智能节点计算任务执行模型计算不同计算策略下所有计算任务的执行能耗和执行时间，并基于所述执行能耗和执行时间更新状态空间矩阵中各计算策略对应的Q值；

将最大Q值对应的计算策略作为最优计算策略，基于所述最优策略对各计算任务进行分配；

其中，所述计算策略包括：在智能节点执行计算任务或在边缘节点执行计算任务；所述智能节点计算任务执行模型是基于Q-Learning算法以智能节点或边缘节点执行任务的能耗和执行时间最优为目标建立目标函数，以及以智能节点和边缘节点计算能力为约束条件构建的。

2.如权利要求1所述的资源分配方法，其特征在于，所述智能节点计算任务执行模型的构建包括：

以所有计算任务在不同计算策略下的执行能耗的倒数和执行时间的倒数之和最大化为目标建立目标函数；

建立边缘节点计算资源约束和智能节点计算资源约束。

3.如权利要求2所述的资源分配方法，其特征在于，所述目标函数如下所示：

其中：N为智能节点数量，n为第几个智能节点；M为智能节点包含的任务数量，k为第几个任务；E_nk为智能节点n的第k个任务在智能节点上执行或在边缘节点上执行的能量消耗；A_nk为智能节点n的第k个任务在智能节点上执行或在边缘节点上执行的执行时间；α为任务能量消耗的调节因子；β为任务执行时长的调节因子；

所述边缘节点计算资源约束如下所示：

式中：F_y为边缘节点的计算能力阈值；d_nk为计算任务请求的计算量；

所述智能节点计算资源约束如下所示：

式中：F_n为智能节点的计算能力阈值。

4.如权利要求1所述的资源分配方法，其特征在于，所述状态空间矩阵如下所示：

其中：S为状态空间矩阵；为执行配电物联网智能节点计算任务的所有计算策略；n为智能节点个数，k为智能节点的任务。

5.如权利要求4所述的资源分配方法，其特征在于，所述基于所述状态空间矩阵依次利用预先构建的智能节点计算任务执行模型计算不同计算策略下所有计算任务的执行能耗和执行时间，并基于所述执行能耗和执行时间更新状态空间矩阵中各计算策略对应的Q值，包括：

步骤1：使用任意整数初始化Q值矩阵；

步骤2：选择Q值矩阵中未标记Q值中的最大值，并使用ε-贪婪算法搜索所述最大值对应计算策略的最优动作；

步骤3：将所述计算策略采取最优动作后利用所述智能节点计算任务执行模型得到所有计算任务的执行能耗和执行时间，并基于所述执行能耗和执行时间利用激励收益计算式计算所述最大值对应计算策略采取最优动作后的收益；

步骤4：基于所述计算策略和收益利用Q值计算式计算所述收益对应的Q值，并更新Q值矩阵对应位置的数值，同时标记为已更新的Q值；

步骤5：判断Q值矩阵中是否有未更新的Q值，若有，执行步骤2；否则结束。