[发明专利]一种高性能计算集群动态节点作业方法

说明书

本发明提供了一种高性能计算集群动态节点作业方法，其基于Infiniband网络提供统一的文件系统空间和无盘启动，基于以太网提供集群作业调度、开关机控制、系统监控等功能。通过上述方式，本发明能够提高高性能计算集群部署效率，降低故障率，简化作业提交，提高能源和资金利用率，提升使用效率和性能。

技术领域

本发明涉及高性能计算技术领域，特别是涉及一种高性能计算集群动态节点作业方法。

背景技术

高性能计算(High performance computing，缩写HPC) 指通常使用很多处理器（作为单个机器的一部分）或者某一集群中组织的几台计算机（作为单个计算资源操作）的计算系统和环境。高性能计算在航空航天、材料、数学、生物、物理、化学、气象、环境、金融、媒体、电磁等多个行业具有较为广泛和重要的作用。当前高性能计算75%以上的系统都是通过X86服务器以Clustre架构进行构建，随着服务器节点的增多和对集群效率、实测计算峰值、能耗等各方面要求的提升，传统的高性能计算集群存在诸多瓶颈，需要广大科研人员和集群维护人员进行研究和探索。

通过基于Infiniband网络的无盘部署、标准化的作业提交流程和步骤、自动控制和调整计算节点开机数量可以实现：

A、节能，基于无盘部署，计算节点不需要配置硬盘，降低了集群的功率开销和故障点，通过动态调整计算节点开关机数量，避免了大量计算节点开机空转的情况，提高了能源的使用率；

B、性能，基于Infiniband网络的无盘部署，将系统镜像通过低延时的高速网络加载到各计算节点内存中，提升了计算节点开机速度，并且充分利用了RAM DISK的IOPS性能优势，极大提升计算任务在计算节点单机内部的收敛速率。

C、标准化，由于高性能计算涉及行业较多、范围较广、海量的专业软件，导致了传统用户在使用高性能计算集群时需要去针对具体的计算软件进行了解学习后才能上机使用。通过对作业流程的重构和标准化，将海量的专业软件的作业提交流程通过中间件固定为同样的步骤和流程，极大简化了上机操作步骤，让传统用户能快速的入手并将集群充分使用起来。

D、节约，最大程度减少不必要的软硬件投入（如计算节点硬盘、计算节点操作系统），提升资金使用率；

E、低故障率，传统高性能计算集群在每个计算节点上需要安装1块硬盘用于存放操作系统。机械硬盘价格便宜，使用年限久，但性能较差；固态硬盘性能较好，但成本太高，寿命太短。并且当集群意外断电时极易导致操作系统损坏。通过无盘部署，有效避免了由硬盘导致的故障，极大降低集群故障率。

F、高效率，传统高性能计算集群需要对所有的节点安装操作系统和配置环境变量才能工作，本申请所描述方式无需该环节，极大减少了集群部署时间，提升了集群部署的效率。

发明内容

本发明主要解决的技术问题是提供一种高性能计算集群动态节点作业方法，能够提高高性能计算集群部署效率，降低故障率，简化作业提交，提高能源和资金利用率，提升使用效率和性能。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种高性能计算集群动态节点作业方法，其特征在于，包括如下步骤：

步骤1：配置服务器，包括管理网络N1、计算网络N2和用户网络N3，以及用户网络N3和管理网络N1之间的安全防护网络F1、登陆节点L1、管理节点M1、若干计算节点CN；所述登陆节点、管理节点、计算节点分别与管理网络和计算网络建立通信连接；所述登陆节点和管理节点通过计算网络挂载共享存储S1；

步骤2：在管理节点M1上安装并配置启动管理服务（Flexboot）、动态主机配置协议服务（DHCP）、文件传输协议服务（TFTP）、域名系统服务（DNS）、共享服务、认证服务以及作业调度，配置完成后启动计算节点；