[发明专利]数据中心网络中一种兼顾高吞吐和公平性的链路调度方法有效
申请号: | 202110372715.X | 申请日: | 2021-04-07 |
公开(公告)号: | CN113128668B | 公开(公告)日: | 2023-07-25 |
发明(设计)人: | 沈鸿;黄宏斌 | 申请(专利权)人: | 中山大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/0985 |
代理公司: | 广州粤高专利商标代理有限公司 44102 | 代理人: | 刘俊 |
地址: | 510275 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据中心 网络 一种 兼顾 吞吐 公平性 调度 方法 | ||
1.一种数据中心网络中一种兼顾高吞吐和公平性的链路调度方法,其特征在于:所述的方法步骤如下:
S1:对于同一时刻中coflow的数量为n以及各个coflowCk在链路上对应的标准化后的流的大小dkj,采用一个多层全连接神经网络来实现内部调度器;
S2:基于元学习进行自适应调整多层全连接神经网络,即先通过元训练阶段得到的元参数θ来初始化多层全连接神经网络的权值再利用元测试集阶段进行更新得到最终的多层全连接神经网络;
S3:利用步骤S2得到的多层全连接神经网络对输入的coflow进行并行分布式作业资源调度,得到最终的资源调度方案;
其中,所述的元训练阶段,具体如下:
S201:将任务作为训练集,更新步数K,内部学习率α和外部学习率β;
S202:随机初始化元参数θ,然后对于每一个任务,每次先用θ来初始化全连接神经网络的参数本实施例可以直接赋值,即令完成初始化;
S203:然后用该任务中的数据对进行K步更新,并且记录该过程中的梯度;
参数的一次迭代更新的更新式如下:
式中,表示损失函数L关于全连接神经网络权值的梯度;符号表示求导函数;Lx(φ,θ)表示全连接神经网络的总损失函数,计算式如下:
式中,τ表示输入coflow的平均完成时间;IG表示公平性度量IG;
S204:最后根据得到的梯度来更新元参数θ,更新式如下:
2.根据权利要求1所述的数据中心网络中一种兼顾高吞吐和公平性的链路调度方法,其特征在于:所述的全连接神经网络根据参数唯一确定地输出其中,x是全连接神经网络的输入,是全连接神经网络的权值。
3.根据权利要求2所述的数据中心网络中一种兼顾高吞吐和公平性的链路调度方法,其特征在于:所述的全连接神经网络的输入为ej和各个coflow对应的dkj的拼接,即x=ej||[d1j,d2j,...dkj],其中,||为拼接符号,表示将前后两个向量连接成一个向量,ej表示端口j的独热编码。
4.根据权利要求3所述的数据中心网络中一种兼顾高吞吐和公平性的链路调度方法,其特征在于:所述的全连接神经网络的输出为端口j为每个coflow分配的带宽占比rkj,即y=[r1j,r2j,...,rkj]。
5.根据权利要求1所述的数据中心网络中一种兼顾高吞吐和公平性的链路调度方法,其特征在于:元测试阶段,具体如下:
D1:输入一个任务T;
D2:根据元训练阶段得到的元参数θ来初始化参数得到一个初步的全连接神经网络;
D3:根据任务T进行K步更新进而得到最终的全连接神经网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110372715.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种能防止铁屑飞溅的车床
- 下一篇:一种热切机