[发明专利]最大化磁盘缓存效果的工作流作业调度装置及方法

说明书

相关申请的交叉引用

本申请要求2012年2月29日提交的韩国专利申请第10-2012-0020792号的权益，由此通过引用将其全部合并在本申请中。

技术领域

本发明涉及资源管理和作业调度方法，其在通过高性能局域网连接的高性能计算系统(或超级计算机)上自动执行以流水线方式实现的大规模数据并行/分布作业，并且随后获得执行结果。

背景技术

在例如现有的超级计算机和高性能集群(clusters)的各种类型的计算资源的环境中，工作流管理系统、资源管理系统、作业调度器等已经被利用，以便采用批处理的方式来执行与代替人处理大规模数据的科学计算相关的作业、或者在其中在作业的几个步骤之间存在依赖性的多个复杂作业。

通常，工作流管理系统是用于创建工作流的软件系统，其中一系列作业经由用户友好界面彼此关联，与例如高性能计算机、网格、和网络服务这样的各种类型的计算资源相结合来执行所创建的工作流，并且报告执行结果。传统的工作流管理系统包括Tavema、Galaxy、Kepler等。

资源管理系统是用于处理高性能计算机或集群的计算资源的管理以及作业的成批执行的软件系统，并且包括基于便携批处理系统(PBS)的OpenPBS、TORQUE和PBS pro，并附加包括用于资源管理的简单Linux工具(SLURM)、Oracle网格引擎等。典型地，这样的资源管理系统使用先来先服务(FCFS)作业调度。

作业调度器主要与资源管理系统结合使用，并且是用于当通过将在作业队列中的作业的优先级和请求的资源量与可用资源的类型和量进行比较来动态地改变作业的执行顺序时、执行作业的软件系统。传统的作业调度器包括Maui、应用程序级安置调度器(ALPS)、负载共享仪器(LSF)、Moab等。

进一步地，关于涉及工作流的传统技术，已经存在(在公开号为2010-0133418的韩国未审查专利申请中公开的)使用用于获得资源的当前信息并分配作业的技术、从所有资源的立场来考虑作业分配的方法。然而，还未设计出有效利用存在于设备中的磁盘高速缓存的方法，并因此存在其中设备的性能没有被充分利用的问题。

例如，在包括基因组序列分析在内的大多数科学应用领域的技术中，存在很多情况，其中想要的结果是通过组合先前开发的应用程序来获得的。因此，工作流(或流水线)被配置为具有基于时间序列的依赖性和数据依赖性的应用程序(作业)的序列流，并且随后基于这样的依赖性执行作业。这样的工作流可能具有各种大小，从包含一个或两个应用的简单形式的大小到其中组合有几十到几百个应用的组合形式的大小。

因此，为了将这样的工作流映射到合适的计算资源并有效地得到结果，需要关于构成工作流的作业所需的计算资源的精确的信息。然而，对于除了对应应用的开发者之外的人来说，找出关于实际执行作业的应用程序使用资源的信息(例如，指示每个应用程序所需的CPU的数目、内存的数量、盘的数量、以及网络带宽的数量的信息)是非常困难的。进一步地，用于从源代码获得资源使用概况(profile)的分析工具的开发已经相对停滞(inactive)。

因此，当想要使用传统工作流管理系统、资源管理系统、以及作业调度器时，向计算资源有效分配工作流的作业是非常困难的。因此，由于基因组分析应用的常规用户不具有关于用于分析基因组序列的作业所需的计算资源的数量的确切知识，所以出现的问题在于，他们请求比所需要的数量更大数量的资源并执行工作流，由此导致浪费了高性能计算资源。

发明内容

因此，紧记在现有技术中发生的上述问题，已经做出了本发明，并且本发明的目的是提供工作流作业调度方法和装置，其通过关联由工作流管理系统、资源管理系统、作业调度器等提供的功能，在想要执行由经由文件的输入/输出互相连接的作业的几个步骤组成的工作流时，能够最大化磁盘缓存效果，因此改善了物理计算资源的使用率。

本发明的另一个目的是提供工作流作业调度方法和装置，其通过主动监控在执行作业时计算资源的使用并且将监控使用信息更新为资源使用概况，并且随后在执行后继工作流时参考资源使用概况，来改善工作流执行的性能，所述方法和装置是考虑到以下事实而配置的：计算资源的有效使用以及资源的使用率必须被提高，以便减少由必须在高性能计算机(或集群)环境中处理大规模数据的多步骤作业组成的工作流的执行时间和成本。