[发明专利]基于数据驱动的数据集群并行计算的调配方法和装置

说明书

本发明涉及地震勘探领域，尤其涉及一种基于数据驱动的数据集群并行计算的调配方法和装置，通过依据资源数据实时变化计算出可用节点的资源数据列表，驱动计算数据块的切分以形成任务列表，列表内任务数据驱动分布式执行，通过动态任务分配算法循环分配任务至各空闲的节点，集群层通过任务块的检测，判断执行状况，即用数据驱动的方式代替消息通信的方式，用线程代替进程，彻底解决了现有技术中调度方法的通信冗余和资源利用不充分导致的低效率问题；通过模块化容器结构的设计提升整体调度的灵活性和并行度，提升了调度的灵活度和可操作性，适用于常规和各种复杂的作业环境，提高了对集群资源的利用率，有效提高了作业运行的效率。

技术领域

本发明涉及地震勘探领域，尤其涉及一种基于数据驱动的数据集群并行计算的调配方法和装置。

背景技术

随着石油勘探采集技术的不断进步，采集到的数据体也不断增大，作为石油勘探地震资料处理系统，需要计算的数据体也就逐渐增大，随着集群并行机的发展，各领域都通过分布式计算解决大量计算造成的效率问题。地震资料处理系统，也通过使用集群并行机的分布式计算方式，计算效率有所提高，如何最大化的利用计算资源提升数据计算的效率是提升数据分布式计算效率需要解决的主要问题，即处理系统的调度框架问题。当前商业软件对于并行调度的通常做法是基于作业的调度方法：通过数据处理人员将数据分组，手动创建多个作业，通过多个作业并行的方式，完成数据的分布式并行计算，但存在着以下问题：

用户操作复杂：用户需要通过对数据的理解，进行手动的数据分组，且构建多个作业，对于一个大数据，构建的作业个数达到上千个，大大增加了工作量和工作时间；

作业进程内资源应用不均匀，不可控：地震资料数据处理的作业，是由多个数据计算算法组成，各个算法的计算时间不同，而以作业为进程的串行计算，整体时间由最耗时的算法阻塞，降低单一进程对资源的利用率从而影响计算效率；

消息通信复杂：基于消息通信控制节点和进程的数据传输和信息同步，存在进程间大量的消息交换，影响整体作业的计算效率；且易造成通信阻塞、通信数据丢失等问题，影响软件稳定性；

算法模块兼容性低：基于作业的单进程并行，对于一些复杂数据计算算法是无法兼容的，对于处理系统来说，这类复杂算法无法使用系统内部的调度流程，需要单独设计流程，以插件的形式存在于系统中，这就导致了复杂算法研发过程的困难性，算法开发人员需要完成数据I/O、算法并行调度和算法部分，增加了工作量，降低了开发效率。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的在于针对现有技术的缺陷和不足，提供一种基于数据驱动的数据集群并行计算的调配方法和装置，通过依据资源数据实时变化计算出可用节点的资源数据列表，再结合计算数据驱动计算数据块切分以获取任务列表，所述列表内任务数据驱动分布式执行，通过动态任务分配算法循环分配任务至各空闲的节点，集群层通过任务块的检测，判断任务层是否在正常执行，即用数据驱动的方式代替消息通信的方式，用线程代替进程，彻底解决了现有技术中调度方法的通信冗余和资源利用不充分导致的低效率问题；通过模块化容器结构的设计提升整体调度的灵活性和并行度，提升了调度的灵活度和可操作性，适用于常规和各种复杂的作业环境，提高了对集群资源的利用率，有效提高了作业运行的效率。

为实现上述目的，本发明采用的技术方案：

一种基于数据驱动的数据集群并行计算的调配方法，步骤包括：

采集预设集群内若干节点的资源数据信息，依据数据实时变化计算出可用节点的资源数据列表；

节点任务器驱动计算数据块切分以获取任务列表，所述列表内任务数据驱动分布式执行，通过动态任务分配算法循环分配任务至各空闲的节点；

所述节点设置有若干个模块化容器结构，以接收任务数据，根据作业流程的组成实例化线程，分配数据容器，线程自动进行数据计算，实现作业流计算的分层和并行。