[发明专利]一种资源配置方法、装置及电子设备

说明书

本发明实施例提供了一种资源配置方法、装置及电子设备，其中，该方法包括：获取多个任务中每个任务的运行参数，根据每个任务的运行参数，计算该任务的目标函数，获取服务器集群的预设资源总量，并根据预设资源总量和每个任务的目标函数，计算每个任务的最优资源使用量，并将每个任务的最优资源使用量发送至服务器集群，以使得服务器集群能够按照每个任务的最优资源使用量运行对应的任务。本发明实施例实现了对业务人员手动配置的资源进行智能优化，有效协调不同任务的资源使用，以达到全局最优的效果，有效提高服务器集群资源利用率，降低资源浪费。

技术领域

本发明涉及资源优化技术领域，特别是涉及一种资源配置方法、装置及电子设备。

背景技术

随着计算机软件技术的快速发展，计算机软件技术已广泛的应用于科学研究、工业生产以及互联网等领域。而随着计算机软件技术的广泛应用，应用计算机软件技术产生的数据也呈现出爆炸式增长。面向大数据处理的计算框架，可以很好的管理应用计算机软件技术时产生的数据。其中，具有代表性的计算框架包括：Spark和Flink等，Spark是专为大规模数据处理而设计的快速通用的计算引擎，Flink是一个针对流数据和批数据的分布式处理引擎，它主要是由Java代码实现。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：

业务人员在利用计算框架运行任务时，一些计算框架需要业务人员手动配置资源，然而，当业务人员对该计算框架不够了解，手动配置的资源可能并不合理，如果再按照手动配置的资源进行任务运行，会造成资源的浪费。

发明内容

本发明实施例的目的在于提供一种资源配置方法、装置及电子设备，以实现对业务人员手动配置的资源进行持续优化，有效协调不同任务的资源使用，以达到全局最优的效果，有效提高服务器集群资源利用率，降低资源浪费。具体技术方案如下：

在本发明实施的一个方面，本发明实施例提供了一种资源配置方法，该方法包括：

获取多个任务中每个任务的运行参数，其中，任一任务的运行参数包括服务器集群多次运行该任务时的运行时间和资源使用量，资源使用量包括：内存使用量和处理器核数使用量；

根据每个任务的运行参数，计算该任务的目标函数，其中，目标函数用于描述运行时间与资源使用量之间的关系；

获取服务器集群的预设资源总量，并根据预设资源总量和每个任务的目标函数，计算每个任务的最优资源使用量，并将每个任务的最优资源使用量发送至服务器集群；其中，预设资源总量包括预设内存总量和预设处理器总核数，最优资源使用量为使得多个任务的总任务运行时间最小时的资源使用量。

可选的，获取多个任务中每个任务的运行参数，包括：

获取用户终端发送的多个任务请求，其中，任务请求中携带有内存申请量、处理器核数申请量和待运行任务；

将多个任务请求发送至服务器集群，以使服务器集群按照各任务请求中的内存申请量和处理器核数申请量，运行与各任务请求对应的待运行任务；

针对每个任务请求，获取服务器集群运行与该任务请求对应的待运行任务时的第一实际资源使用量和第一实际运行时间，并将第一实际资源使用量作为该任务的运行参数中的资源使用量，将第一实际运行时间作为该任务的运行参数中的运行时间。

可选的，每个任务的运行参数至少包括4组，根据每个任务的运行参数，计算该任务的目标函数，包括：

针对每个任务，采用最小二乘法，并选择该任务的运行参数中的任三组，通过第一公式：