[发明专利]生物信息学高性能计算作业调度及系统管理套件

说明书

技术领域

本发明涉及生物信息领域，具体涉及一种生物信息学高性能计算作业调度及系统管理套件。

背景技术

在传统的高性能计算集群系统(例如toruqe+maui或sge)使用中，由于生物信息学和其他学科对比绝大多数应用软件为开源且种类繁多、结构混乱，所以用户在计算过程中会经常出现计算节点负载过高发生死机导致应用软件无法正常运行的现象。而且由于作为科研人员的用户大多数将精力放在本专业项目上并不具备很强的计算机专业知识，使得用户在使用传统作业调度系统时需要花费太多时间学习该系统如何使用。

发明内容

针对现有技术存在的不足和缺陷，本发明提供一种生物信息学高性能计算作业调度及系统管理套件。

本发明实施例提出一种生物信息学高性能计算作业调度及系统管理套件，包括：

用户作业调度策略模块、高性能计算系统管理模块、普通用户操作模块和web页面用户管理平台模块；其中，

所述用户作业调度策略模块，用于通过按照预先制定的策略对用户提交到高性能集群系统的作业进行分析，确定出满足作业运算需要的计算节点，从所述计算节点中确定出核数占用量最低的计算节点，并通知所述高性能集群系统将作业分配到该核数占用量最低的计算节点；

所述高性能计算系统管理模块，用于对分布式计算系统进行集中管理；

所述普通用户操作模块，用于实现普通用户对作业的提交；

所述web页面用户管理平台模块，用于通过web页面实现用户对高性能集群系统的操作。

优选地，所述用户作业调度策略模块，具体包括根据计算节点核数和内存分配作业功能、根据计算节点负载高低自动上下线功能、用户优先级设置功能，限制用户计算资源使用周期功能、作业资源限制功能；其中，

所述根据计算节点核数和内存分配作业功能：对用户提交到高性能集群系统的作业队列中的作业进行分析，确定满足作业运算条件且核数占用量最低的计算节点，通知所述高性能集群系统将作业分配到该节点，并在没有计算节点满足作业运算条件时将作业放回所述作业队列继续排队；

所述根据计算节点负载高低自动上下线功能：每隔预设的周期探测每个计算节点linux系统的平均负载，在所述平均负载大于预设的数值时，将对应的计算节点自动下线，以使该计算节点不再接收用户作业，并在预设的时间段后，若判断获知该计算节点linux系统的平均负载不大于所述数值，将该计算节点自动上线，以使该计算节点继续接收用户作业；

所述用户优先级设置功能：将高性能集群系统中用户进行优先级划分，其中，所述根据计算节点核数和内存分配作业功能中对用户作业进行分析时会根据对应用户的优先级优先对优先级高的用户作业进行分析，且如果用户的优先级相同，则将按先进先出的策略对优先级相同的用户的作业进行分析；

所述限制用户计算资源使用周期功能：禁止超过使用周期的受限用户提交新作业到受限队列，允许超过使用周期前已经运行的作业继续执行直到结束；

所述作业资源限制功能：限制用户能够提交到高性能集群队列中每个作业的资源最大值以及最大运算时间。

优选地，所述高性能计算系统管理模块，具体用于：

通过用户管理命令对普通用户进行创建、修改、删除并同步到所有计算节点，以及通过批处理命令对部分或者所有计算节点进行统一操作。

优选地，所述普通用户操作模块，具体包括：

提交作业功能、用户作业监控功能、高性能集群资源剩余量查看功能以及用户修改提交任务功能；其中，

所述提交作业功能：通过申请作业运行需要的计算资源，将作业提交到高性能集群系统；

所述用户作业监控功能：对用户作业的运行进行监控，并提供对用户作业实际情况以及单个作业详细运行情况的查看；

所述高性能集群资源剩余量查看功能：对高性能集群系统的资源使用进行监控，并提供对高性能集群系统整体资源状态的评估；

所述用户修改提交任务功能：修改排队作业的资源占用量、在运行或排队作业的最大运算时间以及更换排队作业的队列。

优选地，所述提交作业功能中用户通过Linux命令行方式或web方式提交作业。

优选地，所述web页面用户管理平台模块，具体包括：

用户注册功能、编辑提交脚本功能、作业监控功能和数据上传功能；其中，

所述用户注册功能：实现高性能集群系统用户的账户开设；