[发明专利]一种基于深度强化学习的电力通信网路由方法

说明书

本发明公开了一种基于深度强化学习的电力通信网路由方法。该方法是针对基于SDN架构的电力通信网路由选择策略；分析了基于SDN的电力通信网体系结构；并设计基于深度强化学习DDPG(Deep Deterministic Policy Gradient)的路由方法，以业务带宽、时延和丢包率要求为奖励值，反复训练深度强化学习模块，实现路由策略优化。

技术领域

本发明属于电力通信领域，尤其涉及一种基于深度强化学习的电力通信网路由方法。

背景技术

近年来，智能电网和SDN(软件定义网络，Software-Defined Networks)技术不断发展；智能电网依赖于电力通信网进行高效的信息传输和交互，而SDN技术数据平面和控制平面解耦的特性可以简化网络配置与管理，进行灵活的流量控制；SDN控制器拥有全局网络视图，可根据业务需求合理分配传输资源，因此，构建基于SDN的电力通信网是未来的发展趋势；而传统静态路由算法收敛速度慢等弊端不适用于基于SDN架构的电力通信网，需要采用新技术来改善路由方法。

基于SDN架构的电力通信网通过控制器集中管控全局网络，由于网络规模庞大，需要多控制器共同协作管理网络；业务传输请求提交后，控制器根据业务服务质量(Qualityof Service，QoS)需求指标选择高效合理的传输路径，并通过流表下发给数据传输层网络设备。

现有的研究中，利用深度强化学习优化流量调度控制策略的较多，但针对基于SDN架构的电力通信网业务路由方法的研究较少；有的研究利用深度强化学习直接从经验控制多媒体流量；有的研究利用深度强化学习在拥堵网络中选择路由器，减少网络拥塞和数据传输路径的长度，实现更高的网络吞吐量；还有的研究出利用多智能体强化学习解决节点数据缓冲队列的拥堵情况。然而以上的研究均没有考虑电力通信业务传输带宽、时延和可靠性需求的特殊性，不能满足基于SDN架构的电力通信网业务传输需求。

发明内容

(一)要解决的技术问题

为了满足基于SDN架构的电力通信网业务传输QoS要求，本发明公开了一种基于深度强化学习DDPG的电力通信网路由方法。

(二)技术方案

为解决上述技术问题，本发明公开了一种基于深度强化学习DDPG的电力通信网路由方法，包括如下步骤：

步骤A，基于SDN架构的电力通信网路由策略，确定路由策略部署位置，将网络体系结构分为控制器集群模块、业务模块、数据转发模块和调度控制中心，控制器集群负责全局网络的管理，根据业务需求下发流表于数据转发层，在每个控制器中添加基于深度强化学习的路由选择模块，每个控制器相当于一个智能体；

步骤B，建立基于深度强化学习DDPG的路由策略算法框架，包括深度强化学习智能体与网络环境两大模块，并设计各个模块交互内容及其规则；

步骤C，设计深度强化学习算法训练策略，以时延、带宽利用率和业务丢包率为参数构造奖励函数，智能体与网络环境进行动作执行和奖励反馈等内容交互，直到最大训练次数，得到最优传输路径；

其中，步骤A具体包括：

A1，分析电网业务及其带宽、时延和可靠性需求；

A2，构建基于SDN的电力通信网络体系结构，将其分为控制器集群模块、业务模块、数据转发模块和调度控制中心，采用多控制器互相协调工作，通过下发流表给数据转发层提供转发策略。

其中，步骤B具体包括：

B1，抽象路由算法框架环境模块为电力通信业务类型、传输网拓扑结构和调度中心的组合；