[发明专利]一种逆向深度强化学习的电力通信设备测试资源调度方法

说明书

本发明公开了一种逆向深度强化学习的电力通信设备测试资源调度方法。该方法首次采用逆向深度强化学习相关理论，分析了基于边缘计算的通信设备中自动化测试资源需求，综合考虑资源调度时间和测试执行时间以及通信时间，采用深度逆向强化学习算法框架，设计了一种电力信息通信设备自动化测试移动边缘计算资源动态调度方法，提高测试资源利用率。

技术领域

本发明属于电力领域，尤其涉及电力信息通信设备测试资源调度方法。

背景技术

随着智能电网的发展，通信设备对于泛在电力物联网的运行以及维护起到了决定性的作用，其性能的好坏直接影响网络的安全性和稳定性；传统的通信设备测试也向分布式的通信设备节点测试发展。传统的通信设备测试往往采用人工的方式，费时、费力，同时测试的结果也不准确。

发明内容

(一)要解决的技术问题

为了提高电力信息通信设备测试效率，本发明公开了一种逆向深度强化学习的电力通信设备测试资源调度方法。本发明采用多接入边缘计算方式，利用逆向深度强化学习理论，利用历史上分配和调度的专家数据，增强了调度方法的收敛性，有效的降低了测试时间，提高了测试精度。

(二)技术方案

一种逆向深度强化学习的电力通信设备测试资源调度方法，其具体包括如下步骤：

步骤A，分析基于移动边缘计算的电力信息通信设备计算卸载模型。

步骤B，根据步骤A资源模型的分析，构建基于逆向深度强化学习的资源调度算法模型，并且综合利用已有较好回报值的专家决策数据作为强化学习初始的策略函数样本；

步骤C，综合分析电力信息通信设备计算卸载环境与资源调度算法方案，确定深度强化学习与测试环境交互的状态、动作、奖励等值；

步骤D，确定资源调度算法的优势函数评估策略和策略参数梯度下降更新函数，构建算法流程；

步骤E，最后设计基于逆向深度强化学习的资源分配算法具体流程，求解最优资源分配策略。

其中，步骤A具体包括：

A1，分析基于移动边缘计算的电力信息通信设备自动化计算卸载模型，若进行计算卸载，可分为3个阶段，电力信息数据上传阶段，在移动边缘服务器计算阶段，计算结果回传阶段；若未成功进行计算卸载，则需本地计算。

A2，假设当前需要服务的电力设备数为N,每个设备需要服务信息总量为L_k，其为二进制卸载，其中a_n表示卸载指标，a_n＝0表示未卸载，a_n＝1表示卸载到服务器。

A3，电力数据上传阶段：设模型为一个服务器，多个电力系统设备，服务器为电力设备提供边缘计算。电力系统设备n的传输速率表示为：其中p_n为用户n的发射功率，h_n为用户n到服务器的信道增益，N₀表示噪声。

A4，若电力设备本地计算，则所需时间表示为：其中，b_n表示电力设备计算1bit数据所需的CPU周期数，f_n表示电力设备的CPU周期频率。计算所消耗的能量表示为：E_nloc＝μ(f_n)²L_nb_n若电力设备将任务上传到服务器进行边缘计算，由于结果数据量很小，忽略结果回传时间及能耗。则所需时间由上行传输时间和边缘计算时间构成，所需时间表示为：其中b_MEC表示MEC计算1bit数据所需的CPU周期数，f_MEC表示MEC的CPU周期频率。消耗能量表示为：

A5，由上述步骤可知，系统的时间成本表示为：系统的能耗成本表示为：