[发明专利]支持高并发的分布式内存计算集群系统

权利要求书

1.一种支持高并发的分布式内存计算集群系统，包括：Master节点、多个Node节点、集群管理部件、数据库，其中：

所述Master节点，用于接收请求，预分析请求，分配和调度作业、集群监控、收集和返回分析结果，所述Master节点具体包括请求分析器、作业调度控制器、作业监视器、集群监视器、请求队列、作业队列和耗时作业队列，其中：

所述请求分析器，用于从请求队列中获取请求，对所述请求进行分析，以判断该请求是否为耗时请求，如为非耗时请求则存入作业队列，如为耗时请求则存入耗时作业队列，

所述作业调度控制器，用于定时检查作业队列，当请求分析器分析完请求后，交由作业调度控制器，若作业队列不空，则先处理该作业队列所有作业，否则，检查耗时作业队列，若不空，则从该耗时作业队列里取出一个作业投放运作，

所述作业监视器，用于监视投放运作的每一个作业，当有作业发生异常、完成情况，则立即通知作业调度控制器准备其他作业的投放运作；

所述集群监视器，用于结合集群管理部件随时监控集群的健康状态，集群的各方面的负载；

所述Node节点包括任务分析器、任务调度控制器、任务监视器、数据加载引擎、任务队列、数据缓冲区和中间结果缓冲区，其中：

所述任务分析器，用于分析由Master节点下发的作业的参数和条件，产生一系列任务存放于任务队列里，

所述任务调度控制器，根据情况从任务队列取出任务执行，任务调度控制器维护了一个执行任务的线程池，每个任务对应一个执行线程，线程会根据任务的条件从数据缓冲区或中间结果缓冲区中检索数据进行分析，

所述任务监视器，用于监视正在运行的每一个任务，一旦有任务发生异常、完成情况，立即通知任务调度控制器准备其他任务的执行；

所述数据加载引擎，用于根据分片规则在系统启动或发生扩缩容的时候从数据库加载数据到数据缓冲区；

所述任务队列，每个作业会分配若干个任务，分散到各个Node节点执行，这些任务由任务分析器产生，并以FIFO方式存放在任务队列里面，

所述数据缓冲区，用于存放分析数据的数据结构，

所述中间结果缓冲区，用于暂存最小运行单位的任务的产出；

所述集群管理部件，用于监控和维护整个集群的健康状态；

所述数据库，用于储存历史分片数据和实时数据。

2.如权利要求1所示的系统，其特征在于，所述请求分析器对所述请求进行分析时，其分析因素为数据量，时间跨度，算法难易程度。

3.如权利要求2所示的系统，其特征在于，每个因素可以根据需要设置加权参数。

4.如权利要求1所示的系统，其特征在于，所述数据分为历史分片数据和实时数据。

5.如权利要求4所示的系统，其特征在于，所述历史分片数据一天加载一次，而实时数据根据情况可加载或不加载，每天产生数据量在100w以上时加载。

6.如权利要求1所示的系统，其特征在于，所述请求队列按照FIFO的方式存放分析请求。

7.如权利要求1所示的系统，其特征在于，所述作业队列按照FIFO方式存放的非耗时的作业。

8.如权利要求1所示的系统，其特征在于，所述耗时作业队列按照FIFO方式存放的耗时的作业。

9.如权利要求1所示的系统，其特征在于，所述任务分析器产生的任务以批次的形式产生，每个任务仅属于某一批次，批次靠前的先执行，靠后的后执行，每一批次的任务执行的前提条件是前一批次任务执行完毕。

10.如权利要求1所示的系统，其特征在于，所述集群管理部件主要用于监控和维护整个集群的健康状态具体为：每个Node节点在系统启动时以服务的形式向集群管理部件注册自己，并提供健康检查的方式，集群管理部件定时通过这种方式回访每个Node节点，如果回访成功，则表示该Node节点是健康的，更新并记录下来；Master节点中的集群监视器定时向集群管理部件获取这些状态，以判断整个集群是否健康运行。