[发明专利]一种Gaia系统中面向迭代计算的并行度动态调整方法

权利要求书

1.一种Gaia系统中面向迭代计算的并行度动态调整方法，其特征在于：

根据分布式集群的使用情况预设目标资源利用率；

收集用于并行度调整的统计信息数据；

在迭代作业运行时动态调整并行度资源，计算并行度；

保存迭代状态。

2.根据权利要求1所述的一种Gaia系统中面向迭代计算的并行度动态调整方法，其特征在于：具体包括以下步骤：

步骤1、用户通过并行度调整接口根据分布式集群的使用情况预设目标资源利用率；

步骤2、基于心跳机制采集心跳信息；Gaia系统的心跳监控器TaskExecutor向作业管理器JobMaster进行心跳汇报的过程中，在周期性定时心跳过程中的Payload负载信息中增加非连接状态统计信息的汇报；

步骤3、以用户预设的目标资源利用率为目标，基于面向迭代计算的并行度机制动态调整并行度；

基于数据流作业的迭代特性，根据并行度机制在迭代作业运行时调整并行度资源；根据迭代过程中收集的系统统计信息，对计算系统资源以并行度的形式进行动态调整；

步骤4、迭代状态保存：利用Gaia迭代计算的特性，在迭代同步障碍处进行迭代状态的保存。

3.根据权利要求2所述的一种Gaia系统中面向迭代计算的并行度动态调整方法，其特征在于：所述心跳机制收集用于调整并行度的统计信息数据。

4.根据权利要求3所述的一种Gaia系统中面向迭代计算的并行度动态调整方法，其特征在于：步骤2所述非连接状态统计信息包括：1)当前含有迭代计算的作业运行时的资源利用信息：包括对分布式集群的CPU使用核心线程数量及使用百分比、内存占用百分比、磁盘占用百分比及网络带宽这些资源已占用量和总量的统计；2)Gaia系统执行作业时输入的数据集特征：包括数据集的大小、元素数量和数据键值的分布。

5.根据权利要求4所述的一种Gaia系统中面向迭代计算的并行度动态调整方法，其特征在于：步骤2所述TaskExecutor向JobMaster进行心跳汇报的过程包括初始化阶段、注册阶段和心跳阶段；

所述初始化阶段为：JobMaster在启动时调用心跳服务类HeartbeatServices类中的createHeartbeatManagerSender()方法；此方法用来创建一个taskExecutorHeartbeatManager对象，该对象负责对与其连接的所有TaskExecutor进行心跳管理，它会周期性地启动定时器，定期对其管理的对象进行扫描，然后对其发送心跳请求；TaskExecutor创建jobMasterHeartbeatManager对象对JobMaster的心跳信息进行管理；

所述注册阶段为：在资源管理器ResourceManager将TaskExecutor分配给相应的JobMaster之后，被分配的TaskExecutor会主动向JobMaster进行信息注册，其通过远程过程调用RPC来调用JobMaster的registerTaskExecutor()方法；JobMaster在收到远程RPC调用之后，首先执行本地方法接受TaskExecutor的注册，然后通过taskExecutorHeartbeatManager的monitorTarget()方法将此TaskExecutor加入监控目标；最后将监控对象封装为HeartbeatMonitor，并启动一个具有超时时间的心跳定时器；在注册完TaskExecutor之后，JobMaster会向其发送一个注册成功消息，在TaskExecutor端会以同样的方式对JobMaster进行心跳监控；

所述心跳阶段为：JobMaster和TaskExecutor之间的心跳检测过程是双向的；TaskExecutor通过心跳机制向JobMaster进行负载信息的采集和上报；首先，JobMaster会定时通过RPC远程调用TaskExecutor的heartbeatFromTaskExecutor()方法，TaskExecutor接收到此RPC请求之后，调用对应HeartbeatMonitor类中的reportHeartbeat()方法，然后TaskExecutor主动调用reportPayload()方法，将采集到的负载信息发送给JobMaster。