[发明专利]用于在计算系统上加载程序的方法和系统

说明书

技术领域

本发明通常涉及计算机系统和开发。更具体地说，本发明涉及用于减少在分布式或高度并行的计算机系统中加载程序以便执行所需的时间的处理过程。

背景技术

超级计算机系统继续被开发来解决日益复杂的计算问题。已经证明了这些系统对于包括生命科学、财务建模、流体力学、量子化学、分子动力学、天文学、气象建模和预报、以及地质建模的大量应用来说是特别有用的。超级计算机的开发人员关注大规模并行计算机体系结构，以便提供不断增加的计算能力来应用到这些应用和其他应用。

依照所谓的深蓝(blue gene)技术，由国际商业机器公司(IBM)开发(并继续开发)了一系列大规模并行系统。深蓝/L系统是可扩展的(scalable)，其可以被配置有最大65，536(2¹⁶)个计算节点。每一个深蓝/L节点均包括具有存储器和2个CPU的单个专用集成电路(ASIC)。深蓝体系结构已经极其成功，并且在2005年10月27日，IBM宣布深蓝/L系统已经达到了280.6teraflops的运算速度(每秒可完成280.6万亿次浮点运算)，从而使其成为目前世界上最快的计算机。另外，自从2005年6月以来，在世界范围内的各个地点的深蓝/L安装占世界上最强大的前十台计算机中的5台。

IBM目前正在开发深蓝/L系统的后继产品，称之为深蓝/P。期望深蓝/P是第一个以稳定的1 petaflops(每秒完成1千万亿次浮点运算)进行操作的计算机系统。与深蓝/L系统相似，深蓝/P系统是设计具有最大73,728个计算节点的可扩展系统。每一个深蓝/P节点均包括具有存储器和4个CPU的单个专用集成电路(ASIC)。整个深蓝/P系统容纳在72个机架或机柜中，每个系统具有32个节点板(每个板具有32个节点)。

除了由IBM开发的深蓝体系结构外，其他分布式计算机系统可以具有与大规模并行计算机系统类似的整体体系结构。其他分布式系统的例子包括集群系统和基于网格的系统。例如，Beowulf集群是一组计算机系统，每个计算机系统运行类似Unix的操作系统，诸如Linux或BSD操作系统。该集合中的计算机系统经由高速网络连接到小型的TCP/IP LAN中，并且安装有允许在节点间共享处理的库和程序。

在执行上述许多应用的过程中，超级计算机系统用来解决大量通常涉及为不同数据集执行基本上相同的计算的问题。这类应用的例子包括对分子相互作用进行建模，诸如，对单个蛋白质的折叠进行仿真。对于这些类型的应用而言，在任何给定节点上执行的程序使用相对少量的数据。然后，该程序进行涉及该数据的许多计算。当完成计算时，返回计算的结果。因为上千个节点正在执行相同的计算(对于不同的数据集)，所以在相对短的时间段中，可以处理极其大的数据集。

在给定高度并行的超级计算机、诸如深蓝系统或者其他分布式系统中的节点的数量的情况下，要求任何单一节点的极其少量开销的操作通常总体上转换成用于该系统的大量时间。例如，由各个计算节点加载程序所需的总时间可能是相当大的。因此，总起来说，简单地将程序传送到计算节点，可能会花费相当大量的时间。在分布式系统中，出现了相同的现象，在所述分布式系统中数据集、程序等必须被传送到作为分布式系统的一部分的处理节点。因此，现有技术中需要有可以减少高度并行或分布式计算机中的程序加载时间的技术。

发明内容

本发明总体上提供了一种用于减少在高度并行或分布式计算机系统中加载程序所需的时间的方法。本发明的一个实施例提供了一种在包括多个处理节点的计算系统上加载程序的方法。该方法总体上包括：如果处理节点可用的话，则识别先前执行该程序的多个处理节点，其中，该程序与提交用于由计算系统执行的计算作业有关。该方法总体上进一步包括：向每一个识别的处理节点传送用于保留与该程序的先前执行有关的页表的消息，以及将该计算作业分派到多个处理节点。

本发明的另一个实施例包括包含有程序的计算机可读介质，当所述程序被执行时，执行用于在包括多个处理节点的计算系统上加载程序的操作。所述操作总体上包括：如果处理节点可用，则识别先前执行该程序的多个处理节点，其中，该程序与提交用于由计算系统执行的计算作业有关。所述操作总体上进一步包括：向每一个识别的处理节点传送用于保留与该程序的先前执行有关的页表的消息，以及将该计算作业分派到多个处理节点。