[发明专利]生物信息学高性能计算作业调度及系统管理套件在审
申请号: | 201710401101.3 | 申请日: | 2017-05-31 |
公开(公告)号: | CN107273196A | 公开(公告)日: | 2017-10-20 |
发明(设计)人: | 孙玉彬;赵文明 | 申请(专利权)人: | 中国科学院北京基因组研究所 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 北京路浩知识产权代理有限公司11002 | 代理人: | 王莹 |
地址: | 100101 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 生物 信息学 性能 计算 作业 调度 系统管理 套件 | ||
1.一种生物信息学高性能计算作业调度及系统管理套件,其特征在于,包括:
用户作业调度策略模块、高性能计算系统管理模块、普通用户操作模块和web页面用户管理平台模块;其中,
所述用户作业调度策略模块,用于通过按照预先制定的策略对用户提交到高性能集群系统的作业进行分析,确定出满足作业运算需要的计算节点,从所述计算节点中确定出核数占用量最低的计算节点,并通知所述高性能集群系统将作业分配到该核数占用量最低的计算节点;
所述高性能计算系统管理模块,用于对分布式计算系统进行集中管理;
所述普通用户操作模块,用于实现普通用户对作业的提交;
所述web页面用户管理平台模块,用于通过web页面实现用户对高性能集群系统的操作。
2.根据权利要求1所述的套件,其特征在于,所述用户作业调度策略模块,具体包括根据计算节点核数和内存分配作业功能、根据计算节点负载高低自动上下线功能、用户优先级设置功能,限制用户计算资源使用周期功能、作业资源限制功能;其中,
所述根据计算节点核数和内存分配作业功能:对用户提交到高性能集群系统的作业队列中的作业进行分析,确定满足作业运算条件且核数占用量最低的计算节点,通知所述高性能集群系统将作业分配到该节点,并在没有计算节点满足作业运算条件时将作业放回所述作业队列继续排队;
所述根据计算节点负载高低自动上下线功能:每隔预设的周期探测每个计算节点linux系统的平均负载,在所述平均负载大于预设的数值时,将对应的计算节点自动下线,以使该计算节点不再接收用户作业,并在预设的时间段后,若判断获知该计算节点linux系统的平均负载不大于所述数值,将该计算节点自动上线,以使该计算节点继续接收用户作业;
所述用户优先级设置功能:将高性能集群系统中用户进行优先级划分,其中,所述根据计算节点核数和内存分配作业功能中对用户作业进行分析时会根据对应用户的优先级优先对优先级高的用户作业进行分析,且如果用户的优先级相同,则将按先进先出的策略对优先级相同的用户的作业进行分析;
所述限制用户计算资源使用周期功能:禁止超过使用周期的受限用户提交新作业到受限队列,允许超过使用周期前已经运行的作业继续执行直到结束;
所述作业资源限制功能:限制用户能够提交到高性能集群队列中每个作业的资源最大值以及最大运算时间。
3.根据权利要求2所述的套件,其特征在于,所述高性能计算系统管理模块,具体用于:
通过用户管理命令对普通用户进行创建、修改、删除并同步到所有计算节点,以及通过批处理命令对部分或者所有计算节点进行统一操作。
4.根据权利要求3所述的套件,其特征在于,所述普通用户操作模块,具体包括:
提交作业功能、用户作业监控功能、高性能集群资源剩余量查看功能以及用户修改提交任务功能;其中,
所述提交作业功能:通过申请作业运行需要的计算资源,将作业提交到高性能集群系统;
所述用户作业监控功能:对用户作业的运行进行监控,并提供对用户作业实际情况以及单个作业详细运行情况的查看;
所述高性能集群资源剩余量查看功能:对高性能集群系统的资源使用进行监控,并提供对高性能集群系统整体资源状态的评估;
所述用户修改提交任务功能:修改排队作业的资源占用量、在运行或排队作业的最大运算时间以及更换排队作业的队列。
5.根据权利要求4所述的套件,其特征在于,所述提交作业功能中用户通过Linux命令行方式或web方式提交作业。
6.根据权利要求4或5所述的套件,其特征在于,所述web页面用户管理平台模块,具体包括:
用户注册功能、编辑提交脚本功能、作业监控功能和数据上传功能;其中,
所述用户注册功能:实现高性能集群系统用户的账户开设;
所述编辑提交脚本功能:用户通过编辑提交脚本生成作业模板,将所述作业模板提交到高性能集群系统,并通过所述用户作业调度策略模块提供的策略分析所述作业模板给出最优计算节点反馈给高性能集群系统;
所述作业监控功能:对用户通过页面提交的作业进行监控;
所述数据上传功能:将应用数据上传到高性能集群系统存储空间。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院北京基因组研究所,未经中国科学院北京基因组研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710401101.3/1.html,转载请声明来源钻瓜专利网。