[发明专利]一种多域网络环境中基于强化学习的服务功能链部署方法

说明书

本发明公开了一种多域网络环境中基于强化学习的服务功能链部署方法，根据网络中的服务器所处的网络环境及服务器所需解决的现实问题，将网络设定为具有子域隐私保护能力的多域网络，方便多服务提供商合作组网，也符合大型多域网络的使用情景；基于强化学习的递归迭代算法对网络路径按顶层网络和子域网络分层训练，解决了现有技术伴有的多域网络中部署服务功能链时运算时间长、资源消耗大的问题，且不受网络规模限制，不受服务器性能限制；通过能耗的量化和最低耗能方案的寻优，使得服务功能链部署的总利润比传统启发式算法更高。

技术领域

本发明涉及计算机网络领域，具体涉及一种多域网络环境中基于强化学习的服务功能链部署方法。

背景技术

在计算机网络领域中，从网络虚拟化技术被提出开始，学术界就有了大量针对网络功能虚拟化方方面面的研究，其中服务功能链(Service Function Chain，SFC)的部署问题就是一个热门方向，在拿到用户需求后，如何结合自身的服务网络定出一条对用户和自己都有利的SFC，是一个急切等待解决的问题。这个问题可能涉及到网络结构、服务器性能、网络传输性能、网络能源消耗以及多运营方协作。目前对于多域网络下动态SFC部署的研究也有很多，比如利用传统启发式算法求解和其他类型启发式算法求解。

传统启发式求解算法，避免了复杂的数学计算，算法的部署效率较高。但为了方便问题求解，求解过程中对于多域网络的设定是全网信息共享，这不适合现实中的某些特定情况，比如多运营商合作下的多域协同，这无法保护子域内的隐私信息。而且对于启发式算法，部署成功率不高也是它的一个问题。

其他类型启发式算法，考虑了子域的隐私保护，其主要思想是把支持需要部署功能的子域内节点分级，用域间节点形成抽象网络，先在抽象网络形成路径，再具体化各子域内路径。但由于算法需要考虑在抽象路径相关子域依次判断虚拟网络功能部署条件，造成运算时间稍长，再加上对网络节能能力的关注，往往不能得到整个动态SFC部署问题的获取利润的最优解决方案。

发明内容

针对现有技术中的上述不足，本发明提供的一种多域网络环境中基于强化学习的服务功能链部署方法解决了现有技术在多域网络中部署服务功能链时运算时间长、资源消耗大、域内隐私保护能力不强以及不能使得服务功能链获取利润最优的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种多域网络环境中基于强化学习的服务功能链部署方法，包括以下步骤：

S1、根据网络中的服务器所处的网络环境及服务器所需解决的现实问题，将网络设定为具有子域隐私保护能力的多域网络，按服务器节点所在域进行网络分层，得到包括1个顶层网络和N个子域网络的两层网络，N为正整数；

S2、通过域间Q强化学习训练算法训练得到顶层网络四维记忆矩阵Q^top；

S3、通过域间Q强化学习决策算法从顶层网络四维记忆矩阵Q^top中抽取顶层网络备选路径集PA^top；

S4、通过域内Q强化学习训练算法训练得到各个子域网络的五维记忆矩阵其中n为子域编号，其值在闭区间[1，N]中；

S5、根据顶层网络备选路径集PA^top，通过域内Q强化学习决策算法从各个子域网络的五维记忆矩阵中抽取各个子域网络的备选路径集其中n为子域编号，其值在闭区间[1，N]中；

S6、根据顶层网络备选路径集PA^top和各个子域网络的备选路径集形成具体路径，通过网络节能评分算法，采用栈式结构对具体路径进行决策，得到最优节能路径，实现服务功能链部署。

进一步地，所述步骤S1包括以下分步骤：

S11、根据网络中的服务器所处的网络环境及服务器所需解决的现实问题，将网络设定为具有子域隐私保护能力的多域网络；