[发明专利]资源分配方法及分配装置、计算机可读存储介质

说明书

本发明公开了一种资源分配方法及分配装置、计算机可读存储介质。其中，该资源分配方法包括：接收资源分配任务以及资源初始参数，其中，资源分配任务中包括多个任务指标以及每个任务指标的权重系数，然后根据每个任务指标的权重系数，计算任务所需资源的影响因子，之后基于影响因子和资源初始参数，确定每个任务资源因素的配置参数，最后基于每个任务资源因素的配置参数，为资源分配任务分配对应的资源。本发明解决了相关技术中进行批量任务处理时，手动配置参数会导致资源浪费以及任务执行效率低下的技术问题。

技术领域

本发明涉及资源分配技术领域，具体而言，涉及一种资源分配方法及分配装置、计算机可读存储介质。

背景技术

Spark是一种用于大规模数据处理的快速通用计算引擎，相关技术中，使用传统spark on yarn提交任务时，yarn队列可以管理各个任务之间的资源分配，例如可以根据不同队列类型以及优先级等控制资源的分配，但具体到每一个任务时还是需要手动调试来指定该任务的配置参数，以确定其分配的资源。如果系统需要自动批量发起大量任务时，spark的任务参数手动设定会存在许多问题，比如，问题1，如果设定统一默认参数则会给资源需求少的任务分配多余资源，从而造成资源的浪费；问题2，对资源需求大的任务则会因为资源配置的不足，影响任务的执行效率甚至导致任务无法执行；问题3，这些参数通常由开发人员手动设定、调整，对于使用者的专业能力要求较高，使一些非专业人员难以使用。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种资源分配方法及分配装置、计算机可读存储介质，以至少解决相关技术中进行批量任务处理时，手动配置参数会导致资源浪费以及任务执行效率低下的技术问题。

根据本发明实施例的一个方面，提供了一种资源分配方法，包括：接收资源分配任务以及资源初始参数，其中，所述资源分配任务中包括多个任务指标以及每个所述任务指标的权重系数；根据每个所述任务指标的权重系数，计算任务所需资源的影响因子；基于所述影响因子和所述资源初始参数，确定每个任务资源因素的配置参数；基于每个任务资源因素的配置参数，为所述资源分配任务分配对应的资源。

可选地，在接收资源分配任务以及资源初始参数之前，所述资源分配方法还包括：获取在历史时间段中的资源请求任务集群，其中，所述资源请求任务集群中包括每个资源请求任务对应的资源分配量；基于所有的资源分配量，计算资源初始参数。

可选地，所述资源初始参数包括：CPU核数和内存使用量。

可选地，在接收资源分配任务以及资源初始参数之后，所述资源分配方法还包括：确定计算任务抽象接口，其中，所述计算任务抽象接口用于定义所述资源分配任务，以对所述资源分配任务进行资源配置；确定所述资源分配任务的各项任务指标以及指标属性。

可选地，所述指标属性包括下述至少之一：任务涉及到的表数量、任务大小、数据库复杂等级、同类型任务的历史日志分析结果。

可选地，在确定所述资源分配任务的各项任务指标以及指标属性之后，所述资源分配方法还包括：获取历史预设时间段内所有资源分配任务的任务数据；基于历史预设时间段内所有资源分配任务的任务数据和多元线性回归方程，计算每个所述任务指标的权重系数和每个所述任务指标的指标值。

可选地，根据每个所述任务指标的权重系数，计算任务所需资源的影响因子的步骤，包括：将每个任务指标的权重系数和指标值输入任务性能预测模型，输出所述资源分配任务在资源参数列表下的预测执行时长；基于所述预测执行时长和历史任务平均执行时长之间的时长比值，确定所述资源分配任务所需资源的影响因子。

可选地，基于所述影响因子和所述资源初始参数，确定每个任务资源因素的配置参数的步骤，包括：确定每个所述任务指标的取值范围；基于所述影响因子、所述资源初始参数和每个所述任务指标的取值范围，确定每个任务资源因素的配置参数。