[发明专利]一种编译器协助的强化学习多核任务分配算法

说明书

本发明公开了一种编译器协助的强化学习多核任务分配算法，该算法基于强化学习，每当任务进入系统，代码编译优化工具LLVM会对程序源代码进行分析优化过程中，可以产生的类似汇编的中间文件，本发明对中间文件进行一系列处理结合输入的大小来作为程序的特征，同时获取系统中各个内核的占用率、当前运行频率、当前核的温度和短时间的温度变化量，并对四个变量进行处理来作为计算机系统状态信息，结合计算机系统状态信息和获取的将要运行程序的特征作为强化学习模型中的状态，智能体根据当前的状态来选择合适的核来运行任务并且为内核设置频率。本发明能在保证性能约束的条件下有效降低系统温度，并且使温度和性能均保持在很稳定的状态。

技术领域

本发明涉及计算机系统优化领域，具体为一种编译器协助的强化学习多核任务分配算法。

背景技术

在传统的任务调度算法中，计算机会观察内核的负载情况，用传统的优化算法来选取合适核来分配任务，同时系统会自适应的根据负载情况动态调节内核频率从而保证负载均衡以及程序的性能。但是随着计算机内核结构向着多核、异构发展，传统的优化算法变为一个困难问题。随着机器学习算法的兴起，市面上出现了很多基于机器学习的任务调度算法，首先是一些基于监督学习的算法：线性回归，分类算法来进行任务映射以及内核频率设置，虽然在特定的情况下取得较好的效果，但是这些模型的效果过分依赖于训练数据，很难获取较全的训练数据，此外模型的扩展性太差。

强化学习的出现，为各类动态决策问题带来了质的飞跃：人们熟知的强化学习算法玩很多小游戏完胜人类、基于强化学习的自动驾驶以及基于强化学习的推荐系统等等，强化学习强调在环境的交互中学习动态适应性很强，以及无数据依赖，这两大特性完美契合了我们计算机系统任务的调度决策问题，所以相继也出现了一些比较优秀的基于强化学习的任务调度算法，我们在分析了当前存在的算法的优缺点：有些算法状态建模过于简单不能很好的反应系统的当前状态；有些算法虽然系统状态考虑较为全面，但是带来了状态维度较大问题导致计算开销很大；有些算法虽然同时考虑了温度和性能，但并未实现温度和性能的权衡。

基于当前已有算法存在的问题，本发明提出了一种基于强化学习的性能约束下的具有温度意识的多核任务分配算法，即一种编译器协助的强化学习多核任务分配算法，该算法可在三种不同的计算机系统中进行验证，能在保证性能约束的前提下最大限度降低了系统温度。

发明内容

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明提供一种编译器协助的强化学习多核任务分配算法，包括以下步骤：

步骤1：对于将要在系统中运行的程序i，使用LLVM对其源代码进行分析编译，并产生中间文件；

步骤2：对LLVM编译产生的中间文件进行处理；

步骤3：获取将要运行程序i输入为j时的归一化输入

步骤4：结合利用率U_{core_i}和内核的当前运行频率F_{core_i}来反应内核的负载情况；

步骤5：表示出当前内核的温度状态；

步骤6：将获取的程序的信息T_f_i、输入大小系统中所有内核的温度情况T_i^t、内核的负载情况以及任务i输入为j对应的性能约束放到一起组成一个维度为2n+3的向量作为强化学习中的state；

步骤7：强化学习的agent根据当前的state来计算每个动作的q值；

步骤8：更新q值；

步骤9：根据q值使用ε-greedy策略来选择动作action：