[发明专利]一种边缘计算中服务功能链放置的强化学习方法

权利要求书

1.一种边缘计算中服务功能链放置的强化学习方法，所述方法为OSIR算法；

所述OSIR算法基于深度强化学习进行设计，在深度强化学习中，智能体和环境是其中的两个主要构成组件；

所述智能体观察环境状态S_τ,并且根据策略给出动作A_τ，之后，环境返还给智能体对应的奖励R_τ(S_τ，A_τ)，并更新到下一个状态S_τ+1，在智能体与环境的这样不断交互的过程中，智能体通过不过更新自己的策略来或者最大化长期收益；

具体流程如下:

S1、当环境接收到一个新的用户的服务请求u时，环境把当前u的信息和边缘网络的信息组成当前的状态S_τ，并把状态S_τ缓存在本地；

S2、对于u中的网络功能列表N_u，j从1到|N_u|开始循环：

S3、智能体观察环境状态S_τ；

S4、当判定：j＝1，即执行：更新服务队列网络

S5、智能体根据放置策略选择一个动作A_τ；

S6、环境计算奖励R_τ，并反馈给环境；

S7、如果判定：由于资源不足导致放置失败，即执行：根据S1中缓存的状态S_τ重置当前环境，并终止放置；

否则：把O_u中所需的计算资源置零，即

S8、智能体观察新的环境状态S_τ+1；

S9、当j＝|N_u|时循环结束；

S10、等待新的服务功能请求u+1。

2.根据权利要求1所述的一种边缘计算中服务功能链放置的强化学习方法其特征在于：所述状态的定义包含基板网络和当前服务功能链请求的信息；其中，和分别表示节点n_i剩余的存储和出口带宽资源：

对于每一个节点n_i，剩余的类型为f的实例的计算资源可以被表示为

对于服务功能链请求u，有序的网络功能列表N_u，所需的实例计算资源O_u，请求持续时间δ_u，流量y_u，上次放置的节点目的地ψ_u和吞吐量μ_u都被放入到了状态中；其中，被用来表示网络功能f的one-hot向量；即当布置任意一个状态S_τ可以被表示为：

3.根据权利要求1所述的一种边缘计算中服务功能链放置的强化学习方法其特征在于：所述智能体是基于强化学习的A3C算法进行设计的，除了A3C本身的actor-critic的神经网络结构之外，还加入了一组基于LSTM的服务队列网络，用来提取所需得网络功能随时间变化的分布；在每次完成网络功能的放置后，把O_u中所需的计算资源置零，即之后，智能体再尝试放置直到服务链中的所有的虚拟化网络功能都被放置到了边缘网络之中。

4.根据权利要求1所述的一种边缘计算中服务功能链放置的强化学习方法其特征在于：所述服务队列网络，包含一个队列记忆空间和一组LSTM神经网络。队列记忆空间的长度被定义为TD；

所述服务队列网络，输入：当前状态S_τ；输出：队列信息h_TD；

具体流程算法如下；

S1、从服务队列网络的记忆空间中，删除最后一层信息O_u-T_D；

S2、从输入状态S_τ中截取层信息O_u；

S3、把层信息O_u放入服务队列网络的记忆空间；

S4、根据记忆空间，构建LSTM神经网络的输入：

([O_u-TD+1，O_u-TD+2，...，O_u-1，Ou])；

S6、输出LSTM计算结果h_TD。