[发明专利]一种基于随机延迟缓解I/O瓶颈的大规模并行系统检查点数据写入方法

说明书

本发明公开了一种基于随机延时缓解I/O瓶颈的大规模并行系统检查点数据写入方法，该方法将检查点数据暂时缓存在内存之中，使checkpoint主流程可以立即返回，实现写入过程的分离，从而缩短了检查点数据操作过程中全局停止的时间。本发明使用随机延迟checkpoint文件处理方法确定预设延迟写入时间，将写入操作在时间上进行分散，从而减少同一时刻I/O写入峰值，达到缓解I/O瓶颈的目的。在大规模并行系统执行I/O操作之前，周期性探测大规模并行系统的关联数据信息，若影响到应用程序的运行，则放弃延时操作立即执行写入操作，避免长时间占用共享资源影响应用程序的正常运行；反之，则继续按确定的延时写入时间写入。本发明可以使应用在不同系统平台上相对于传统集中式写入模式对I/O子系统造成的压力减小，获得更高的吞吐率和更短的全局阻塞时间。

技术领域

本发明涉及一种高性能计算领域动态调节检查点(Checkpoint)数据最佳写入时机的处理方法，更特别地说，是指一种涉及大规模并行系统中缓解检查点数据集中写入导致I/O瓶颈的检查点数据写入控制方法。

背景技术

高性能计算大多采用大规模的并行计算模式，高性能计算系统在硬件基础架构上包含计算节点、网络互连和存储系统三大部分。其中计算节点负责运行计算任务，网络互连实现计算节点间及计算节点与存储系统间的互连，而存储系统包括多个I/O节点和外部存储设备，I/O节点运行并行文件系统，响应计算节点的读写请求，并实现对外部存储设备的管理和调度。

随着高性能计算系统规模的不断扩大，并行程序使用大量的计算节点长时间运行时，通常会伴随着部分节点中软件或是硬件错误的发生，这给系统的可靠性带来了新的挑战。目前超级计算机整系统的平均无故障时间(MTBF，Mean Time Between Failure)已降至数个小时。现有的长时间运行程序大部分属于MPI(信息传递接口)程序，当某个节点发生错误时，可能会导致当前节点中正在运行的MPI程序中止或停止，进而导致所有节点中的程序必须重新执行，损失了之前所有的计算结果，这无疑造成了资源的严重浪费。同时在大规模高性能计算系统中，由于平均无故障时间仅仅为数个小时，在最差的情况下会导致程序反复重新开始执行却无法最终执行完成。因此为了使并行程序可以正确的执行，回滚—恢复(rollback—recovery)技术作为一种容错技术被广泛应用于高性能计算之中。其中一类的代表就是检查点软件。

检查点软件周期性的保存当前时刻应用程序在全部对应节点中的相关信息，形成一个由各个节点的单节点检查点文件组成的检查点文件集合，之后将该集合经由I/O节点写入到稳定存储之中。当有节点发生错误时，checkpoint软件将上一次的检查点数据读出，根据该记录创建进程，恢复数据，进而恢复应用程序的执行，从而达到保存之前运算结果的目的，这种策略被称为回滚—恢复策略，是计算机容错(Fault Tolerance)技术中一种普遍的实现策略，得到了广泛的应用。

在基于检查点的容错技术出现后，如何减少检查点操作过程中所造成的额外开销成为检查点技术研究的重点。目前为止，多数检查点软件将缩减单节点单次检查点操作所保存的检查点数据量作为减少检查点开销相关研究的重点。但是在大规模或超大规模集群的节点网络应用场景中，由于计算节点集合中的节点过多，若仅考虑检查点软件需要保存的数据量大小，依然无法达到最好的效果。因为在目前主流的使用协调(coordinated)同步协议的检查点软件中，在执行检查点操作前会先在所有节点进行一次全局同步操作，以达到一个全局一致的状态，以杜绝可能出现的多米诺效应(由于全局状态不一致导致的连续多次回滚)。之后当收集检查点数据的操作完成后，检查点软件默认将检查点数据直接写入到外部存储系统中，以应对之后可能发生的节点宕机故障(如某节点宕机，且未将当前节点的检查点数据写入稳定存储，则该节点相应的检查点数据丢失，节点相关进程的运行无法恢复)。由于系统中I/O节点数目远小于计算节点数目，数量众多的计算节点集中写入检查点数据将对I/O系统造成冲击，进而形成系统瓶颈，而且这一问题将随着高性能计算系统规模的增大而愈加突出。