[发明专利]一种基于深度强化学习的网络自主智能管控方法

说明书

本发明属于人工智能技术领域，具体的说是涉及一种基于深度强化学习的网络自主智能管控方法。本发明首先构建网络拓扑，然后引入CNN、LSTM层和延迟更新策略构建基于DDPG强化学习算法的路由决策模型，最后对基于深度强化学习的路由决策模型进行迭代训练。在每次迭代训练中，智能体根据测量得到的网络状态和神经网络获得输出的动作，即一组链路权重，并根据链路权重使用最短路径算法计算业务的路由。根据路由计算结果，智能体下发流表，并获取业务的端到端时延和丢包率计算此次迭代的奖励值。算法具有良好的收敛性，能够有效降低业务的端到端时延和丢包率。

技术领域

本发明属于人工智能技术领域，具体的说是涉及一种基于深度强化学习的网络自主智能管控方法。

背景技术

近年来，随着网络规模的扩大、应用种类的增多，为业务制定智能化的路由策略，是实现业务服务质量保障和网络自主智能管控的重要一环。软件定义网络(SoftwareDefined Network，SDN)的出现为网络自主智能化路由部署带来了新的思路。区别于传统网络紧密耦合的垂直结构，SDN将数据平面和控制平面分离，数据平面由支持OpenFlow协议的SDN交换机实现，控制平面由软件实现，提供网络的可编程性。控制平面对整个网络具有完整的全局视图，能够根据网络状态动态配置业务流的转发路由，从而更高效地进行网络资源的调配。控制平面在向下层的数据平面下发控制策略的同时，向上层的应用平面提供开放应用程序可编程接口，使得运营商可以简单快速地完成动态、自动化的网络应用开发，而不被运维复杂的问题所困扰。整个SDN网络架构形成闭环，为部署业务智能路由方案提供了保障。

随着人工智能技术的发展，机器学习算法已经渗透到包括网络业务路由在内的各个领域。在基于强化学习的智能路由策略中，智能体能够在SDN网络环境中学习路由策略，以最大限度地提高奖励。但是，在SDN网络中使用传统的Q学习算法可能需要巨大的存储空间来维护Q表，同时Q表的查询也会带来额外的时间开销。深度Q网络(Deep Q Network，DQN)方法可以同时结合深度学习的感知能力与强化学习的决策能力来优化路由过程，然而它受限于离散的状态和动作空间，不适合动态的SDN网络系统。基于策略的强化学习方法，如确定性策略梯度(Deterministic Policy Gradient，DPG)，可以用来处理连续动作空间，但它们使用线性函数作为策略函数，存在训练数据相关性引起的过拟合问题。而深度确定性策略梯度算法(DDPG，Deep Deterministic Policy Gradient)使用演员评论家(Actor-Critic，AC)框架结合DQN方法和DPG方法，利用神经网络生成策略函数和Q函数，可以形成高效稳定的连续动作控制模型。

发明内容

本发明的发明目的在于：通过深度强化学习技术，由智能体自主对网络中的历史数据完成感知和学习，寻找满足业务流传输需求的路由，提高网络资源的综合利用率，实现网络的自主智能管控。

本发明的基于深度强化学习的网络自主智能管控方法的技术方案为：

构建实时的网络全局视图，对承载业务的数据平面的网络状态进行感知，获取网络中节点对之间不同类型业务流的业务传输需求情况、网络中链路的实时流量负载和连接关系，以及业务流的端到端传输时延和丢包率。

构建基于DDPG强化学习算法的路由决策模型。定义用于强化学习的网络状态、路由决策动作和业务奖励，并构建用于动作决策的Actor网络及其目标网络，以及用于评估动作质量的Critic网络及其目标网络。