[发明专利]一种高性能计算集群动态节点作业方法有效

专利信息
申请号: 201710154402.0 申请日: 2017-03-15
公开(公告)号: CN107040407B 公开(公告)日: 2020-02-18
发明(设计)人: 谢滔 申请(专利权)人: 成都中讯创新科技股份有限公司
主分类号: H04L12/24 分类号: H04L12/24
代理公司: 成都华风专利事务所(普通合伙) 51223 代理人: 徐丰
地址: 610041 四川省成都市*** 国省代码: 四川;51
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 性能 计算 集群 动态 节点 作业 方法
【权利要求书】:

1.一种高性能计算集群动态节点作业方法,其特征在于,包括如下步骤:

步骤1:配置服务器,包括管理网络N1、计算网络N2和用户网络N3,以及用户网络N3和管理网络N1之间的安全防护网络F1、登陆节点L1、管理节点M1、若干计算节点CN;所述登陆节点、管理节点、计算节点分别与管理网络和计算网络建立通信连接;所述登陆节点和管理节点通过计算网络挂载共享存储S1;

步骤2:在管理节点M1上安装并配置启动管理服务(Flexboot)、动态主机配置协议服务(DHCP)、文件传输协议服务(TFTP)、域名系统服务(DNS)、共享服务、认证服务以及作业调度,配置完成后启动计算节点;

步骤3:用户网络N3中的用户,经过安全防护网络F1以安全外壳协议SSH登录到登陆节点L1上,通过SSH将需要计算的算例上传至登陆节点L1上的共享存储S1;

步骤4:用户在登陆节点L1上通过作业调度中间件,指定作业参数完成作业脚本的生成并启动提交给M1的作业调度进行资源分配和计算;

步骤5:管理节点M1收到登陆节点L1上用户提交的作业脚本后,首先将作业脚本中的函数调用请求交给管理节点中的Maui.d进行资源配额检查,如果配额不足则报错提示,如果配额足够,则将作业脚本转交给M1上作业调度pbs_server进行调度;

步骤6:管理节点M1的作业调度pbs_server收到作业脚本后,根据作业脚本要求的节点数、每节点核心数为作业分配进行计算的节点C1到Cn,如果节点数量不足,则将作业进行排队等待;如果节点数量足够,则根据作业脚本具体执行内容开始计算;

步骤7:当C1到Cn完成计算后,释放物理内存、处理器资源,并向M1的pbs_server反馈“所有核心均未占用,状态Free”的信号;M1的pbs_server对该信号进行记录,并允许后续作业在该节点上进行分配和计算;

步骤8:用户可以通过安全文件传输协议SFTP从L1上将S1中存储的计算结果信息取回到N3中,在本地电脑上打开进行处理和分析;

所述方法还包括计算机开机节点自动控制步骤:

步骤11:系统启动完成正常运行时,M1每60秒启动后台监控进程一次并检测启动时间,若未达到启动时间,则暂停60秒并重复步骤1;

步骤12:后台监控进程正常启动后,检查pbs_server是否有排队作业,若无排队作业并且处于工作状态的计算节点小于等于1时,则直接退出;若无排队作业并处于工作状态的节点大于1个,则通过管理网络N1和IPMI口关闭开机但位处于空闲状态的空闲节点数量-1个节点,只保留空闲节点中节点名排名最前的1个空闲计算节点处于开机状态以备用;

步骤13:若检查到有排队作业情况时,则分析处于排队作业的原因:若为用户超额,则直接退出系统;若用户未超额,则排队原因为资源不足,执行下一步骤;

步骤14:在步骤3之后,检查关机节点数量:若关机节点为0,则提示节点用尽并退出系统;若关机节点大于等于1,则根据处于等待状态各中作业各节点需求量的大小从小到大进行排序,设定N为等待状态作业最小作业节点需求数量,F为当前空闲状态节点数量,G为关机节点数量,比较当前需要开机节点数量(N-F)和G-1,若N-F≤G-1,表示关机节点数量比需求节点数量大,则在管理网络N1中通过IPMI接口开启N-F+1个节点,并重新进行步骤2;若N-F≥G-1,表示关机节点数量不足,则在管理网络N1中通过IPMI接口开启所有关机节点并提示节点数用尽,然后退出系统。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都中讯创新科技股份有限公司,未经成都中讯创新科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201710154402.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top