[发明专利]一种面向并发的调度方法及系统

说明书

本发明涉及带宽调度技术领域，具体涉及一种面向并发的调度方法及系统，用以支持带宽敏感调度策略的进行，该方法利用了任务执行过程中的阶段性行为，在任务的多次执行中不断收集其包含的阶段，并估算每个阶段的独占执行信息，存放到数据库中，在任务的未来执行中，使用数据库中的信息能更准确的预测任务的带宽需求；同时，结合阶段出现的频度，估算出任务在特定输入集下的整体独占执行时间和主存访问量，本发明利用了任务执行的阶段性特点，能在历史执行中识别任务阶段，并估算它的执行性能，这些信息又能在任务未来的执行中不断强化，指导调度。

技术领域

本发明涉及带宽调度技术领域，具体涉及一种面向并发的调度方法及系统。

背景技术

随着集群规模的扩大，在大数据分析和处理过程中，网络故障和节点失效等错误发生的概率增加，需要底层分布式数据系统提供高可用保证，保持数据系统服务的连续性。基于共享存储池，集群中每个元数据服务器利用影子节点SN进行热备，无需额外的数据系统或设备支持就能快速恢复故障。通常情况下，影子节点不提供元数据服务，处于备用状态，但始终维护与元数据服务器一致的名字空间。进行数据操作时，当元数据服务器更新完元数据信息，写日志事务到日志文件中，影子节点通过共享存储池，从日志副本中读取对应的日志并在内存中重放事务，同步元数据服务器的名字空间信息。

因此，如何能在一个任务组执行前估算出它的平均带宽需求指导调度成为关键问题。

发明内容

本发明提供一种面向并发的调度方法及系统，能在一个任务组执行前估算出它的平均带宽需求指导调度。

本发明提供的一种面向并发的调度方法，包括以下步骤：

步骤S1、通过系统调用让任务暂停执行；

步骤S2、读取和处理性能计数器数据，识别出阶段信息并进行信息更新，预测任务在下一个时间片的带宽需求；

步骤S3、选择任务并发执行，使总带宽需求等于任务组的平均带宽需求；

步骤S4、对每一个选定的任务，通过系统调度使之继续执行；

步骤S5、重置调度器的时间片计数器，等待下一个时间片的到来。

进一步，所述步骤S1之前还包括：

将任务在一个时间片内的执行识别为一个阶段，每个阶段赋予一个唯一的阶段编码。

进一步，所述步骤S2中预测任务在下一个时间片的带宽需求具体包括：

通过马尔科夫预测器预测每个任务在下一个时间片即将出现的阶段，将一个阶段看成一个状态，根据任务本次的执行历史维护一个状态转移矩阵。

进一步，所述步骤S3中任务组的平均带宽需求根据每个任务的主存访问数以及任务的独占执行时间获得；所述任务的主存访问数通过性能计数器采集多次任务执行的平均值获得；

所述任务的独占执行时间通过以下公式计算获得

其中，I^q是指任务在时间片q内执行的指令数，是时间片q的独占执行，C_alone即为任务的独占执行时间，由该任务的每个执行时间片的独占执行时间累加得到。

本发明提供的一种面向并发的调度系统，包括控制模块和存储控制指令的存储模块，控制模块读取所述指令执行以下步骤：

步骤S1、通过系统调用让任务暂停执行；

步骤S2、读取和处理性能计数器数据，识别出阶段信息并进行信息更新，预测任务在下一个时间片的带宽需求；

步骤S3、选择任务并发执行，使总带宽需求等于任务组的平均带宽需求；