[发明专利]一种基于CPU核管理的分布式并行计算平台及方法

权利要求书

1.一种基于CPU核管理的分布式并行计算平台，其特征是，包括：

数据节点服务器：包括至少一台具有cpu多核能力的计算机，用于存放历史结果以及数据库服务节点；

调度节点服务器：包括至少一台具有cpu多核能力的计算机，用于计算任务的调度与管理；

计算节点服务器：包括至少一台具有cpu多核能力的计算机，用于将用户提交的数据进行处理，并调用第三方计算程序参与计算，所述第三方核心计算程序部署在计算节点上；

计算节点服务器将计算任务传送到调度节点服务器，调度节点服务器通过计算整个集群空闲资源cpu核数，进行计算任务的调度管理与数据的分布式并行计算，并将计算结果存储至数据节点服务器。

2.一种如权利要求1所述的基于CPU核管理的分布式并行计算平台，其特征是，所述计算机上安装Linux操作系统，并配置Linux的SSH服务器使各个计算机之间无密码登陆。

3.一种如权利要求1所述的基于CPU核管理的分布式并行计算方法，其特征是，包括：

搭建基于核管理的并行分布式计算平台，加载配置文件并读取配置信息；

并行分布式计算平台对整个集群空闲资源cpu核数进行采集统计；

并行分布式计算平台针对客户端用户提交的计算任务数据，以及包含任务计算类别、超时时间、计算参数信息的配置文件TaskList，实时更新集群空闲资源cpu核数，对计算任务进行并行处理。

4.如权利要求3所述的一种基于CPU核管理的分布式并行计算方法，其特征是，所述并行分布式计算平台对整个集群空闲资源cpu核数进行采集统计的具体方法为：

计算节点每隔设定时间将包括cpu核数、硬盘空间、内存大小信息的本机资源打包发送至调度节点服务器；

调度节点服务器收到计算节点的资源信息包后，将cpu核数信息存储到一个全局结构体变量中；

由调度节点DistComp进程开启定时器函数，所述定时器函数定期检查所有计算节点上报资源信息情况，通过判断节点信息更新时间来判断计算节点资源上报信息是否超时，如果超时，DistComp将该计算节点的cpu核数从集群可用的cpu核数当中剔除，并存储当前集群可用的cpu核数。

5.如权利要求3所述的一种基于CPU核管理的分布式并行计算方法，其特征是，所述并行分布式计算平台对计算任务进行并行处理的具体流程为：

调度节点初始化时即开启一个任务处理线程和一个消息接收线程，用于分别不断的处理任务和从别的节点发回来的消息；

用户客户端下发一个计算任务请求后，调度节点处理所述任务请求中的必要信息后，将所述计算任务请求存储为新任务，并将新任务发送至任务待处理队列当中；

任务处理线程发现有新任务到达时，首先判断是否当前集群有空闲核可以利用，如果没有，则回到线程继续等待；如果有可以利用的空闲核资源，则将新任务加上任务名后连同数据一起打包到计算节点请求计算，更新平台总空闲核数为当前平台总空闲核数减去该任务占用核数；

新建一个任务定时器函数用于检查该任务是否超时，当调度节点收到该任务完成消息或者该任务发生计算超时后，调度节点更新平台总空闲核数为当前平台总空闲核数加上该任务占用核数，并将任务写入数据库结果表。