[发明专利]一种基于强化学习的数据中心虚拟化网络故障诊断方法

权利要求书

1.一种基于强化学习的数据中心虚拟化网络故障诊断方法，其特征在于包括如下步骤：

步骤1，初始化网络故障诊断模型；具体过程是：

步骤11，使用服务器运行环境信息、虚拟设备参数配置信息、虚拟机网络信息构成的1028维向量表征虚拟化网络环境；

步骤12，以等间距radius＝r₁,r₂,...,r_d划分每一维度数据构建成网络状态空间集合，r_d表示第d个维度数据的划分间距，d为虚拟化网络信息特征数量；

步骤13，设置动作集合，执行动作集合包含21个指令，每一种指令代表一种故障的解决方案；

步骤14，在动作选择过程中使用∈-greedy探索策略选择动作a_t，平衡模型的训练时间与故障诊断精度；

步骤15，使用回合更新的方式更新训练记忆，若故障解决即时奖励值为R，否则奖励值为0，对于每一个故障在故障解决后统一更新Q表，Q表更新公式为：

其中γ∈(0,1)为折扣率，α∈(0,1)为学习效率，R表示在状态S_n选择动作a_n后的即时奖励值，Q_n表示在状态S_n时对应于动作a_n的Q表中的数值，Q_n(S_n,a_n)表示在状态S_n选择动作a_n后的累积奖励值；

步骤2，根据设定的故障诊断目标，采用强化学习算法训练Q表，所述Q表记录了每种故障下采取每个动作获得的累计折扣奖励值；

所述采用强化学习算法训练Q表具体包括如下步骤：

步骤21，使用故障注入的方式向虚拟化网络中注入故障；

步骤22，使用网络故障感知模型识别出网络异常并向故障诊断服务器发送诊断请求；

步骤23，故障诊断服务器将诊断请求中的多维度信息预处理后映射到Q表中的状态空间；

步骤24，使用∈-greedy探索策略选择动作并下发到故障服务器中；

步骤25，故障服务器执行下发的动作，再使用故障感知模型判断故障是否解决，并将感知结果反馈给故障诊断服务器；

步骤26，若故障已经解决，则更新Q表，转步骤27；若故障未解决，重复步骤22至步骤26；

步骤27，注入下一个故障，并重复步骤21至步骤27，直到Q表收敛；

步骤3，故障发生时，将网络状态信息映射到Q表中的网络状态，根据网络状态查询Q表，依据奖励值最大原则选择动作作为故障诊断结果；

步骤4，使用信息增益方法进一步优化网络状态空间；具体步骤如下：

步骤41，设置内存使用约束条件L；

步骤42，对于任意网络状态中的最优动作，在Q表收敛后Q值为，n表示迭代次数：

Q＝R(1-(1-α)ⁿ)≤R

对于任意网络状态中的非最优动作，在Q表收敛后Q值为：

Q＝γR(1-(1-α)ⁿ≤γR

步骤43，对于存在多个故障的网络状态，Q表中不同动作的Q值为：

Q_S＝R,R,...,R,γR,γR,...,γR

通过计算Q_S中R的数量识别多故障状态；

步骤44，在Q表训练过程中，统计所有的Q表接收到的训练样本X＝(x₁,x₂,...,x_d)，其中x_d表示第d个属性的取值，假定X划分到状态S中并选择了动作a_t，统计出划分到状态S的数据X以及在该数据下的动作选择a_t组成样本数据T＝(X,a_t)，a_t为新样本的类别标签；

步骤45，使用故障占比以及状态S中样本数量设置划分边界条件：

或

其中c_i表示每个动作a_t中样本X的数量，为：

其中m为根据步骤43得到的故障数量；

步骤46，对于不满足步骤44划分边界的状态，使用信息增益计算状态S中每一个特征的信息增益值，选择信息增益最大的特征分裂成两个新的状态，重新训练模型；

步骤47，重复步骤43至步骤46，在满足内存约束条件下构建出最优网络状态空间。