[发明专利]一种渐进式非阻塞机会资源预留方法及系统

说明书

本发明属于网络信息处理技术领域，公开了一种渐进式非阻塞机会资源预留方法及系统，采用预选节点(Preselection)和优选节点(Priority)相结合的形式，首先选出可以为大任务提供资源预留的节点，再引入Priority策略对过滤后的节点优先级排序，锁定某个节点为当前大任务的资源预留节点，最后采用机会资源分配策略对节点进行资源预留。本发明解决了被预留的节点直到出现满足预留请求之前都不再为其他任务分配资源，这将会导致集群产生大量的资源碎片，集群宕机也变成了一个大概率事件。

技术领域

本发明属于网络信息处理技术领域，尤其涉及一种渐进式非阻塞机会资源预留方法及系统。

背景技术

对于Hadoop YARN资源调度系统，当某个节点不能满足任务需求时会进行资源预留。

目前，业内常用的现有技术是这样的：增量资源预留和一次性资源预留。

优先为这个应用程序预留一个节点上的资源，直到累计释放的空闲资源满足了应用的需求。这种资源的分配方式叫做增量资源分配。

暂时放弃当前节点资源，直到某个节点的资源一次性满足应用程序的需求。这种分配方式叫做一次性资源分配。

然而，两种分配方式均有不足，对于增量资源分配而言，资源预留机制会导致资源浪费，集群资源利用率低；而一次性资源分配虽然在发现资源无法满足某个应用需求的时候放弃资源请求，但是，这个应用有可能永远得不到自己请求的资源因而永远无法运行，即饿死现象；

综上所述，现有技术存在的问题是：

(1)目前的资源预留机制并未对选择哪个节点来执行资源预留做限制，预留节点的选择变得不可控，可能出现节点全部预留，导致集群宕机。

(2)现有的资源预留机制并未对预留期间的资源进行充分利用，预留的节点直到出现满足预留请求之前都不再为其他任务分配资源，这将会导致集群产生大量的资源碎片，资源得不到充分利用。

解决上述技术问题的难度和意义：

在防止集群节点全部被预留，集群资源出现只释放不分配，导致集群宕机的情况上，需要通过制定相应的策略来选择出符合做资源预留的节点，对于策略是否符合选择最优节点，是需要做大量实验考证的。

在对预留资源的利用问题上，本发明创新性的利用非阻塞式资源预留方式，这对于节点来说可以为其他应用提供资源服务，对于应用来说也可以去通过监听其他节点的形式及时的发现其他节点是否有满足请求的资源释放。在解决集群资源碎片问题和资源利用率问题上具有重大意义。

发明内容

针对现有技术存在的问题，本发明提供了一种渐进式非阻塞机会资源预留方法及系统。本发明将优化Hadoop Yarn中当某个节点不能满足任务需求时的资源预留方法，最终解决集群资源碎片过高，集群整体资源利用率过低问题，从而提高整体任务执行效率。

本发明是这样实现的，一种渐进式非阻塞机会资源预留方法，采用预选节点Preselection和优选节点Priority相结合的形式；

具体包括：

当应用程序向Hadoop Yarn集群进行资源申请而得不到满足时，Yarn会对集群中某一节点进行资源预留：

首先选出为大任务提供资源预留的节点：对集群所有节点按照Preselection策略过滤掉不能做资源预留的节点；

其次引入Priority策略对过滤后的节点权值优先级排序，锁定某个节点为当前大任务的资源预留节点；

最后采用非阻塞式资源预留算法结合机会资源分配策略对选中某个权值节点和最大的节点进行资源预留。

进一步，Preselection策略包括：