[发明专利]基于部分部署分段路由的IPv6网络的流量工程方法及装置

权利要求书

1.一种基于部分部署分段路由的IPv6网络的流量工程方法，其特征在于，包括：

获取IPv6网络的网络拓扑、初始的网络链路权重矩阵、设定时长内的多个流量矩阵；

基于所述设定时长内的多个流量矩阵，计算所述设定时长内的代表流量矩阵；

基于所述网络拓扑、所述初始的网络链路权重矩阵以及所述代表流量矩阵，对深度强化学习网络进行M次训练，根据所述深度强化学习网络的第M次训练，确定优化后的网络链路权重矩阵、分段路由节点集合以及对应的最小化的最大链路利用率；其中，M为大于0的正整数；

其中，所述深度强化学习网络包括行动深度神经网络、评估深度神经网络以及目标深度神经网络；

所述深度强化学习网络的每次训练过程中进行以下处理：

根据所述网络拓扑、所述初始的网络链路权重矩阵以及所述代表流量矩阵，确定所述初始的网络链路权重矩阵对应的网络流量分布情况、分段路由节点集合以及最大链路利用率；

执行T个步骤，在每个步骤中进行以下处理：

确定本步骤的网络链路权重矩阵；

根据所述网络拓扑、本步骤的网络链路权重矩阵以及所述代表流量矩阵，确定本步骤的网络链路权重矩阵对应的网络流量分布情况、分段路由节点集合以及最大链路利用率；

根据本步骤的网络链路权重矩阵对应的最大链路利用率和所述初始的网络链路权重矩阵对应的最大链路利用率，计算本步骤的奖励；

将上一步骤的网络链路权重矩阵对应的网络流量分布情况、本步骤的网络链路权重矩阵、本步骤的奖励、本步骤的网络链路权重矩阵对应的网络流量分布情况记为一个事务，存储至回放缓冲区；

从所述回放缓冲区采样设定大小的数据，计算采样出的所述数据中的每个事务的目标Q值；

基于所述目标Q值，计算最小化损失L，并根据所述最小化损失L更新所述评估深度神经网络的参数；

计算策略梯度，并根据所述策略梯度更新所述行动深度神经网络的参数；

采用平滑替换方式更新所述目标深度神经网络的参数；

其中，T为大于0的正整数；

其中，所述根据所述网络拓扑、本步骤的网络链路权重矩阵以及所述代表流量矩阵，确定本步骤的网络链路权重矩阵对应的网络流量分布情况、分段路由节点集合以及最大链路利用率，包括：

根据所述网络拓扑、本步骤的网络链路权重矩阵、所述代表流量矩阵以及分段路由节点部署率，确定本步骤的网络链路权重矩阵对应的分段路由节点集合；

根据所述网络拓扑、所述代表流量矩阵、本步骤的网络链路权重矩阵以及本步骤的网络链路权重矩阵对应的分段路由节点集合，计算出所述代表流量矩阵中每条流的可用路径；

构造线性规划问题，其中，目标为最小化所述部分部署分段路由的IPv6网络的最大链路利用率，变量为每条流在可用路径上的分流比；

求解所述线性规划问题，得到每条流在可用路径上的最佳分流比以及所述部分部署分段路由的IPv6网络的最小化的最大链路利用率。

2.根据权利要求1所述的方法，其特征在于，所述线性规划问题的限制条件包括：

经过任一链路的所有流量小于或等于所述链路的容量与所述链路的最大链路利用率的乘积；

任一条流在所有的可用路径上的流量之和大于或等于所述流的流量需求大小；

任一条流在任一可用路径上的流量大于或等于0。

3.根据权利要求1所述的方法，其特征在于，所述根据所述深度强化学习网络的第M次训练，确定优化后的网络链路权重矩阵、分段路由节点集合以及对应的最小化的最大链路利用率之后，所述方法还包括：

采用所述最小化的最大链路利用率对应的分段路由节点集合、所述代表流量矩阵中每条流的可用路径以及在所述可用路径上的分流比，优化所述部分部署分段路由的IPv6网络。

4.根据权利要求1所述的方法，其特征在于，所述基于所述设定时长内的多个流量矩阵，计算所述设定时长内的代表流量矩阵，包括：

基于所述设定时长内的多个流量矩阵，采用数据挖掘聚类算法，计算所述设定时长内的代表流量矩阵。