[发明专利]一种自动负载均衡的文件锁并行地震处理作业调度方法

说明书

本发明涉及一种自动负载均衡的文件锁并行地震处理作业调度方法，其步骤：在共享磁盘上新建一个索引文件，该索引文件仅包含一个起始炮号，该炮号指定了下一个将要偏移处理的地震道集；远程登录节点发送处理作业；各个节点上的处理进程在文件锁同步机制下排队读取并修改索引文件，并将处理进程当前信息写入日志文件；处理进程完成指定的地震数据处理，并在完成后将处理进程当前信息写入日志文件；重复实施前述两步骤，直至全部数据被处理完成；检查并行作业日志文件，重处理缺失的地震数据。本发明提高了并行作业的实用性、安全性和运行效率，有利于海量地震数据的高效处理。

技术领域

本发明涉及一种石油天然气地震勘探和高性能计算的交叉领域，特别是关于一种自动负载均衡的文件锁并行地震处理作业调度方法。

背景技术

随着石油天然气矿藏勘探难度的不断增加，石油行业先后提出了一些复杂的勘探技术方法，如三维地震勘探、高密度地震勘探、宽方位地震勘探和多分量地震勘探等。这些勘探方法导致需要处理的地震资料数据量急剧增加，如何高效地处理海量地震数据逐渐成为技术发展的瓶颈。目前，行业内主流的地震资料处理软件都已着手针对耗时较长的处理环节开发相应的并行处理技术。这些技术通常都采用MPI(Message Passing Interface,信息传递接口)的编程方法实现多节点并行计算。MPI是一个跨语言的通讯协议，用于编写并行计算机程序，支持点对点和广播，其目标是高性能，大规模和可移植性。在实际应用过程中，发现MPI尽管有效，但也存在一些明显的不足。例如，MPI并行处理程序运行时，需要预先为每个计算节点分配(一般采取平均分配)需要处理的数据。因此，作业一旦启动以后，如果想要增加或者减少一些计算节点，只能首先杀死现有计算节点上所有正在运行的(该)处理进程，并在为调整后的各个节点重新分配数据之后，再次启动这个并行作业。这一过程对于有数百个节点参与计算和TB数量级的地震数据处理作业来说是非常繁琐和耗费时间的。所以，在并行计算过程中不能灵活地增加或减少计算节点是MPI并行的一个不足。

此外，个别节点宕机会导致整个并行作业崩溃也是MPI并行的一个缺点。实际地震资料处理都是在PC-Cluster上进行的，一些复杂的计算处理(如叠前深度偏移)常常会用到数百个以上的计算机节点。采用MPI编写的并行计算程序在运行过程中，无论是主节点还是从节点，只要任意一个节点出现问题(如宕机或进程被意外杀死)，就会导致整个并行作业的崩溃。参与计算的节点数量越多，节点上运行的作业越多，这种情况出现的概率就越大。因此，在共享集群上长时间处理海量地震数据对MPI程序的运行环境和并行程序本身的稳定性都提出了严峻挑战。另外，MPI并行程序预先将要处理的数据分配给各个计算节点，这使得并行程序难以现实自动负载均衡。在异构集群环境里，或在共享集群环境里(计算节点上运行着不同用户发送的作业)，每一个计算节点可以为当前作业提供的计算服务性能存在差异，经常会出现一些性能较强的节点率先完成分配的计算任务后长时间处于闲置状态，而另一些性能较差的计算节点尚有很多数据未完成处理的情况。这种现象就似大家熟知的“木桶效应”，即并行处理作业的总体运行效率由性能最低的计算节点决定。

由此可见，在地震资料处理中MPI并行作业存在3个主要缺点：(1)增减节点困难；(2)宕机损失严重；(3)负载不均衡等。如何提高海量地震资料并行处理作业在复杂计算环境下的实际运行效率成为目前亟需解决的技术问题。

发明内容

针对上述问题，本发明的目的是提供一种自动负载均衡的文件锁并行地震处理作业调度方法，其提高了并行作业的实用性、安全性和运行效率，有利于海量地震数据的高效处理。