[发明专利]一种面向人工智能服务的资源分配方法、装置及电子设备在审
申请号: | 202011295444.4 | 申请日: | 2020-11-18 |
公开(公告)号: | CN112486674A | 公开(公告)日: | 2021-03-12 |
发明(设计)人: | 李亚杰;张杰;曾泽斌;赵永利;刘明哲 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京风雅颂专利代理有限公司 11403 | 代理人: | 李翔 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 人工智能 服务 资源 分配 方法 装置 电子设备 | ||
本说明书一个或多个实施例提供一种面向人工智能服务的资源分配方法、装置及电子设备,根据待计算的网络模型,确定需要参与训练的边缘服务器的个数N,从边缘服务器队列中挨个的获取边缘服务器,针对每次获取的边缘服务器,判断其的计算资源与链路资源是否充足,直至获取N个计算资源与链路资源充足的边缘服务器,再根据每个边缘服务器的计算资源和链路资源,进行资源分配,优化资源,有效的节约模型训练时间。
技术领域
本说明书一个或多个实施例涉及资源分配技术领域,尤其涉及一种面向人工智能服务的资源分配方法、装置及电子设备。
背景技术
现有的基于云节点的分布式人工智能模型训练的技术主要为:构建云服务器以及多个边缘服务器构成的训练网络,云服务器将需要训练的人工智能原始数据集进行分割,并将分割得到的各个模块分发至各个边缘服务器进行训练,训练结果反馈至云服务器,从而实现人工智能模型的训练过程。
但是,发明人发现,在这种基于云服务器进行同步更新的模型训练方式下,由于没有充分利用边缘服务器的计算和带宽资源,造成资源浪费,增加了模型训练的时间。例如,在资源充足的边缘服务器上,训练过程时间较短,在一次训练迭代的过程中,花费了较多的时间等待参与训练的边缘服务器完成该次迭代过程,而资源有限的边缘服务器则花费更多的时间在计算和数据传输上,成为了训练过程中的“瓶颈”节点。
发明内容
有鉴于此,本说明书一个或多个实施例的目的在于提出一种面向人工智能服务的资源分配方法、装置及电子设备,能够对弹性光网络中的边缘服务器进行资源分配,优化资源,节约模型训练时间。
基于上述目的,本说明书一个或多个实施例提供了一种面向人工智能服务的资源分配方法,包括:
获得待计算的网络模型;
基于所述网络模型确定参与训练的边缘服务器的个数N;
从边缘服务器队列中获取一个边缘服务器;
判断所述边缘服务器是否具有足够的计算资源和链路资源,若所述边缘服务器的计算资源和/或链路资源不足,则放弃该边缘服务器,并返回执行获取边缘服务器的步骤;若所述边缘服务器的计算资源和链路资源足够,则判断已获取的边缘服务器的数量n是否等于N,若n<N,则返回执行获取边缘服务器的步骤,若n=N,则根据每个边缘服务器的计算资源和链路资源,进行资源分配。
作为一种可选的实施方式,所述从边缘服务器队列中获取一个边缘服务器,包括:
获取边缘服务器队列中的每个边缘服务器的计算资源和链路资源;
基于所述计算资源和链路资源,对所述边缘服务器进行排序,获得排序后的边缘服务器队列;
从排序后的边缘服务器队列中获取一个边缘服务器。
作为一种可选的实施方式,所述基于所述计算资源和链路资源,对所述边缘服务器进行排序,包括:
对每个边缘服务器的计算资源和链路资源进行加权,并按照加权值从大至小的顺序对所述边缘服务器进行排序。
作为一种可选的实施方式,所述若n=N,则根据每个边缘服务器的计算资源和链路资源,进行资源分配,包括:
若n=N,判断n个边缘服务器的计算资源与链路资源是否满足训练QoS;
若n个边缘服务器的计算资源与链路资源满足训练QoS,则根据每个边缘服务器的计算资源和链路资源,进行资源分配;若n个边缘服务器的计算资源与链路资源不满足训练QoS,则停止资源分配。
作为一种可选的实施方式,所述放弃该边缘服务器,并返回执行获取边缘服务器的步骤,包括:
放弃该边缘服务器;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011295444.4/2.html,转载请声明来源钻瓜专利网。