[发明专利]面向高性能计算在云上的资源弹性伸缩系统及其调度方法

说明书

本发明属于高性能计算技术领域，具体为面向高性能计算在云上的资源弹性伸缩系统，包括资源扩容子系统负责向集群内添加节点，资源缩容子系统负责从计算集群中删除节点。调度系统接受外部用户或系统提交的任务，并分发到等待队列，资源弹性伸缩系统扫描任务等待队列，结合多方面的扩容决策算法，在合适的区域内申请竞价资源，任务最终在新添加的计算节点上运行起来；当任务被分发完毕，集群中有计算节点慢慢空闲下来时，触发资源弹性伸缩系统的缩容策略，对节点进行回收释放。本发明通过集成各大公有云厂商的弹性伸缩API实现全球资源的管控；通过对大量现有以及不断新增的不同类型任务运行时间的统计学习，预测出最佳的资源使用方式。

技术领域

本发明属于高性能计算技术领域，可以使用在云计算平台计算集群中，作为集群资源弹性伸缩管理系统。

背景技术

高性能计算资源弹性伸缩，是指资源调度器根据当前计算任务对资源的需求不同，动态地调整资源池的大小，以便任务获取运行所需的计算资源。

在公有云上，高性能计算以大规模的计算密集型任务为计算单位，通过高效的作业调度系统把任务分发到集群中。资源弹性伸缩系统通过周期性扫描任务队列，统计任务所需要的资源大小，触发资源伸容，从而使任务可以在相应的节点上进行计算。当任务计算结束后，节点连续空闲多个周期便会触发资源缩容，节点将会被回收释放以节约成本。同时当计算节点因为健康检测多次失败后，也会被强制回收替换成新的节点。资源弹性伸缩系统通过以上机制保证资源池动态的调整，使任务尽可能被调度运行起来。

目前资源弹性伸缩系统存在的问题主要有以下几方面：

1.资源弹性伸缩系统支持的计算节点配置单一，迫使任务调度系统处理复杂的资源装箱问题。在一个伸缩组内都是由同构的计算节点所组成，而不同的计算任务所需要的CPU核数并不相同。比如：队列中有8核，16核以及32核的任务，由于计算节点均为32核资源，每种任务的总数是不一样的，最终就会出现8核或者16核的任务独占一台32核的计算节点，从而造成大量的资源浪费。

2.资源弹性伸缩系统的健康检测机制并不适用于高CPU负载的高性能计算任务，健康检测机制通常是在计算节点上运行一个后台检测服务，周期性向节点总控发送健康心跳信息以表明当前节点健康良好。但由于高性能计算任务会执行大量浮点计算，CPU轻松到达100％，CPU过于繁忙无法及时发送心跳信息到节点总控系统，导致节点总控误以为计算节点无响应而触发节点回收机制，不可中断的任务被误杀重新回到调度队列，下次运行还是会出现健康检测失败的情况而任务再次被误杀，造成资源浪费。

3.资源弹性伸缩系统所纳管的计算节点通常是按需计费的，近几年出现的竞价计费模式相比按需计费模式可以让企业获取大量弹性计算资源的同时，还能大幅度降低计算成本，竞价资源是公有云厂商中的可用空闲计算容量，其价格最低可达按需资源的10％，而竞价资源与按需资源的唯一区别在于，竞价资源会因为某一时刻按需资源需求量大增时而被中断回收。因此竞价资源很适合可中断的高性能计算工作任务场景。因此竞价资源的价格波动以及中断率是跟当前区域供需关系相关的，而纳管竞价型资源的弹性伸缩系统无法根据这种供需关系进行动态选择合适的区域，也就无法找到更低价格以及更低中断率的竞价资源。