[发明专利]一种配电物联网下基于Q-Learning的边缘节点资源分配方法及系统

说明书

一种配电物联网下基于Q‑Learning的边缘节点资源分配方法及系统，包括：基于执行智能节点所有计算任务的计算策略构建状态空间矩阵；基于状态空间矩阵依次利用预先构建的智能节点计算任务执行模型计算不同计算策略下所有任务执行能耗和时间，并基于执行能耗和时间更新各计算策略对应的Q值；将最大Q值对应的计算策略作为最优计算策略，基于所述最优策略对各计算任务进行分配；其中，计算策略包括：在智能节点或边缘节点执行计算任务；智能节点计算任务执行模型是基于Q‑Learning算法以智能节点或边缘节点执行任务的能耗时间最优为目标建立目标函数，以及以智能节点和边缘节点计算能力为约束构建的。协调智能节点和边缘节点，降低网络能耗，缩短任务执行时间。

技术领域

本发明涉及电力通信网的资源管理领域，具体涉及一种配电物联网下基于Q-Learning的边缘节点资源分配方法及系统。

背景技术

随着配电物联网技术的快速发展和应用，电力公司建设的智能节点数量逐步增加。这些智能节点上发起的计算任务对云计算平台的计算效率提出了较高的要求。为快速响应智能节点的计算请求，边缘计算模式逐渐成为配电物联网环境下的关键技术。在边缘计算模式下，边缘计算节点被部署在智能节点较近的位置上，可以为智能节点提供快速高效的计算服务。

为了给智能节点提供最优化的计算服务，如何提高智能节点任务的计算效率，已成为一个重要的研究内容。文献[王振刚,陈渊睿,曾君,陈剑龙,刘俊峰.面向完全分布式控制的微电网信息物理系统建模与可靠性评估[J].电网技术,2019,43(7):2413-2421.]针对微电网管理效率低的问题，提出了分布式的电网资源管理模型。针对边缘计算节点资源管理复杂的问题，文献[YAGHMAEE MOGHADDAM M H，LEON-GARCIA A.A fog-based internetof energy architecture for transactive energy management systems[J].IEEEInternet of Things Journal，2018，5(2)：1055-1069.]基于物联网智能节点的位置和边缘网络特点，将边缘计算网络划分为三个层次，并分别进行资源分配。为提升边缘计算技术在配电网中的实用价值，文献[孙浩洋,张冀川,王鹏,林佳颖,郭屾,陈蕾.面向配电物联网的边缘计算技术[J].电网技术，2019，12(43)：4314-4321]基于边缘计算技术提出了配电物联网的边缘计算技术解决方案。在具体的边缘计算资源管理方面，文献[赵文清，严海，周震东，等.基于残差BP神经网络的变压器故障诊断[J].电力自动化设备，2020，40(2)：143-148]基于边缘计算技术提出了用户用电行为分析算法，文献[Tong L,Li Y,Gao W.Ahierarchical edge cloud architecture for mobile computing[C]//IEEE INFOCOM2016-The 35th Annual IEEE International Conference on ComputerCommunications.IEEE,2016:1-9]提出了启发式的边缘计算任务执行算法。为降低网络能耗，文献[Chen M,Hao Y.Task offloading for mobile edge computing in softwaredefined ultra-dense network[J].IEEE Journal on Selected Areas inCommunications,2018,36(3):587-59]将任务卸载问题抽象为资源分配问题，提出启发式的任务卸载算法。从已有研究可知，配电物联网环境下边缘节点的资源分配方面，已经取得较多的研究成果。但是，在智能节点资源受限时，如何通过智能节点和边缘计算节点的协作，提高用户任务的执行效率，并且减少网络能耗，是一个急需解决的问题。

发明内容

为了解决现有技术中所存在的上述问题，本发明提供一种配电物联网下基于Q-Learning的边缘节点资源分配方法，包括：

基于执行配电物联网智能节点所有计算任务的计算策略构建状态空间矩阵；