[发明专利]一种融合多线程及分布式技术的并行计算方法及系统

说明书

本文提供了一种融合多线程及分布式技术的并行计算方法及系统，系统包括：管理中心根据任务发布命令，创建并记录新增任务配置信息；接收并记录主服务器发送的线程配置信息；接收从服务器发送的线程状态，根据线程状态修改从服务器的线程资源信息；主服务器监测并获取管理中心中的新增任务配置信息；从管理中心查询在线从服务器线程资源信息；根据在线从服务器线程资源信息及新增任务配置信息，生成线程配置信息，并将线程配置信息发送至管理中心记录；从服务器监测管理中心中自身从服务器的线程配置信息；根据线程配置信息启动线程处理任务；将线程状态信息发送至管理中心记录。本文能够实现跨服务器的高可用性，提高服务器资源的使用效率。

技术领域

本文涉及并行计算领域，尤其涉及一种融合多线程及分布式技术的并行计算方法及系统。

背景技术

随着摩尔定律走到了尽头，人们已经很难从提高CPU运行频率的方式来提高计算机系统的计算能力。并行计算，是当今世界提高计算机系统计算速度和处理能力的主流方式。目前，并行计算领域最常用的两种并行计算技术就是多线程和分布式。

传统的多线程技术，是建立多线程处理器基础上的。多线程计算能力的提升，主要依赖于服务器CPU个数的增加，或者多核CPU核心数的增加。多线程技术接近硬件层，能最细粒度的控制计算资源的使用，是并行计算的基础。多线程之间的资源调度与通信是基于CPU级别的，因此存在无法跨服务器使用的缺陷。这意味着如果有多台服务器，则无法仅通过多线程技术，把它们整合成为一个整体来使用，这个限制的结果就是：计算机系统的计算能力，无法通过服务器集群进行横向扩展；同时也无法满足，企业中普遍存在的主备、高可用等计算机系统运维需求。

另外一种常用的并行计算技术是分布式计算，例如Hadoop、Spark等，这类技术是建立在分布式文件系统基础上的。所谓的分布式文件系统，就是构建在多台服务器上的一个虚拟的、软件层次的文件系统。分布式文件系统屏蔽了硬件细节，对于上层程序来说，它就像一个普通的文件系统。这种分布式计算技术，能把多台服务器整合成为一台服务器来使用，把多台服务器的硬盘、内存合并成为一块来使用，大大提高了计算能力的横向扩展能力。但为了简化资源调度，这类分布式计算引擎，往往是采用进程级别的粒度来进行的。每个进程都是一个独立的程序，它需要把所有依赖的库包都加载一遍，并且进行资源分配。这类分布式计算引擎存在的问题是，需要搭建庞大复杂的计算集群、任务启动周期长，资源重复加载，造成资源浪费。

企业中如下并行计算需求通过上述两种并行计算方法并不能满足：小计算任务很多，数据量并不太大或者数据是间歇性的，但处理程序必须常驻等待；虽然数据量并不大，但是数据很重要，必须实现高可用；可能会有突发数据量增大的情况，计算能力必须能横向扩展；任务虽然很多，但是数据源并不多，希望能在任务间共享资源连接池；不希望在任务启动过程花费太多的额外开销，启动时间不能太长；需要节约计算资源的使用，降低企业运营成本。

发明内容

现有技术中对于多线程并行计算而言，存在无法通过服务器集群方式进行横向扩展，同时，也无法满足主备计算机系统、高可用计算机系统运维需求。对于分布式并行计算而言，需要搭建复杂的计算集群、任务启动周期长、资源重复加载，存在资源浪费的问题。

为了解决上述技术问题，本文的第一方面提供一种融合多线程及分布式技术的并行计算方法，适用主服务器，所述方法包括：

监测并获取管理中心中的新增任务配置信息；

从管理中心查询在线从服务器线程资源信息；

根据在线从服务器线程资源信息及新增任务配置信息，生成线程配置信息，并将线程配置信息发送至管理中心记录。

本文的进一步实施例中，所述新增任务配置信息包括：任务标识、任务所需线程数、任务业务元数据；

根据在线服务器线程资源信息及新增任务配置信息，生成线程配置信息，包括：