[发明专利]生物信息学高性能计算作业调度及系统管理套件在审

专利信息
申请号: 201710401101.3 申请日: 2017-05-31
公开(公告)号: CN107273196A 公开(公告)日: 2017-10-20
发明(设计)人: 孙玉彬;赵文明 申请(专利权)人: 中国科学院北京基因组研究所
主分类号: G06F9/48 分类号: G06F9/48;G06F9/50
代理公司: 北京路浩知识产权代理有限公司11002 代理人: 王莹
地址: 100101 北京*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 生物 信息学 性能 计算 作业 调度 系统管理 套件
【说明书】:

技术领域

发明涉及生物信息领域,具体涉及一种生物信息学高性能计算作业调度及系统管理套件。

背景技术

在传统的高性能计算集群系统(例如toruqe+maui或sge)使用中,由于生物信息学和其他学科对比绝大多数应用软件为开源且种类繁多、结构混乱,所以用户在计算过程中会经常出现计算节点负载过高发生死机导致应用软件无法正常运行的现象。而且由于作为科研人员的用户大多数将精力放在本专业项目上并不具备很强的计算机专业知识,使得用户在使用传统作业调度系统时需要花费太多时间学习该系统如何使用。

发明内容

针对现有技术存在的不足和缺陷,本发明提供一种生物信息学高性能计算作业调度及系统管理套件。

本发明实施例提出一种生物信息学高性能计算作业调度及系统管理套件,包括:

用户作业调度策略模块、高性能计算系统管理模块、普通用户操作模块和web页面用户管理平台模块;其中,

所述用户作业调度策略模块,用于通过按照预先制定的策略对用户提交到高性能集群系统的作业进行分析,确定出满足作业运算需要的计算节点,从所述计算节点中确定出核数占用量最低的计算节点,并通知所述高性能集群系统将作业分配到该核数占用量最低的计算节点;

所述高性能计算系统管理模块,用于对分布式计算系统进行集中管理;

所述普通用户操作模块,用于实现普通用户对作业的提交;

所述web页面用户管理平台模块,用于通过web页面实现用户对高性能集群系统的操作。

优选地,所述用户作业调度策略模块,具体包括根据计算节点核数和内存分配作业功能、根据计算节点负载高低自动上下线功能、用户优先级设置功能,限制用户计算资源使用周期功能、作业资源限制功能;其中,

所述根据计算节点核数和内存分配作业功能:对用户提交到高性能集群系统的作业队列中的作业进行分析,确定满足作业运算条件且核数占用量最低的计算节点,通知所述高性能集群系统将作业分配到该节点,并在没有计算节点满足作业运算条件时将作业放回所述作业队列继续排队;

所述根据计算节点负载高低自动上下线功能:每隔预设的周期探测每个计算节点linux系统的平均负载,在所述平均负载大于预设的数值时,将对应的计算节点自动下线,以使该计算节点不再接收用户作业,并在预设的时间段后,若判断获知该计算节点linux系统的平均负载不大于所述数值,将该计算节点自动上线,以使该计算节点继续接收用户作业;

所述用户优先级设置功能:将高性能集群系统中用户进行优先级划分,其中,所述根据计算节点核数和内存分配作业功能中对用户作业进行分析时会根据对应用户的优先级优先对优先级高的用户作业进行分析,且如果用户的优先级相同,则将按先进先出的策略对优先级相同的用户的作业进行分析;

所述限制用户计算资源使用周期功能:禁止超过使用周期的受限用户提交新作业到受限队列,允许超过使用周期前已经运行的作业继续执行直到结束;

所述作业资源限制功能:限制用户能够提交到高性能集群队列中每个作业的资源最大值以及最大运算时间。

优选地,所述高性能计算系统管理模块,具体用于:

通过用户管理命令对普通用户进行创建、修改、删除并同步到所有计算节点,以及通过批处理命令对部分或者所有计算节点进行统一操作。

优选地,所述普通用户操作模块,具体包括:

提交作业功能、用户作业监控功能、高性能集群资源剩余量查看功能以及用户修改提交任务功能;其中,

所述提交作业功能:通过申请作业运行需要的计算资源,将作业提交到高性能集群系统;

所述用户作业监控功能:对用户作业的运行进行监控,并提供对用户作业实际情况以及单个作业详细运行情况的查看;

所述高性能集群资源剩余量查看功能:对高性能集群系统的资源使用进行监控,并提供对高性能集群系统整体资源状态的评估;

所述用户修改提交任务功能:修改排队作业的资源占用量、在运行或排队作业的最大运算时间以及更换排队作业的队列。

优选地,所述提交作业功能中用户通过Linux命令行方式或web方式提交作业。

优选地,所述web页面用户管理平台模块,具体包括:

用户注册功能、编辑提交脚本功能、作业监控功能和数据上传功能;其中,

所述用户注册功能:实现高性能集群系统用户的账户开设;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院北京基因组研究所,未经中国科学院北京基因组研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201710401101.3/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top