[发明专利]资源配置方法及装置、计算机可读存储介质、电子设备

说明书

本发明是关于一种资源配置方法及装置、计算机可读存储介质、电子设备，涉及计算机技术领域，该方法包括：接收包括待执行任务的资源配置请求，响应所述资源配置请求从配置中心获取与所述待执行任务的任务名称对应的目标配置参数；其中，所述任务名称包括注册标识，所述注册标识与所述目标配置参数一一对应；对所述目标配置参数进行解析，得到所述待执行任务在执行过程中所需要的目标物理内存使用量以及目标虚拟内存使用量；根据所述目标物理内存使用量以及目标虚拟内存使用量，为所述待执行任务配置对应的内存资源。本发明提高了待执行任务的执行效率。

技术领域

本发明实施例涉及计算机技术领域，具体而言，涉及一种资源配置方法、资源配置装置、计算机可读存储介质以及电子设备。

背景技术

作为信息领域研究热点的分布式计算，主要是通过计算机网络或者互联网连接大量的资源，为不同的用户提供存储和计算等各种服务。现有的分布式资源调度系统中，用户都是提前按照自己的需求申请内存、中央处理器等资源，分布式资源调度系统会根据用户的需求，在管理的计算节点上进行资源分配给用户的计算任务进行使用。

进一步的，当用户在提交大数据计算任务时，都需要预先设定需要多少内存、中央处理器等资源，等分布式资源调度系统分配完成后，用户再使用具体计算节点上的资源进行计算。并且，在用户整个计算任务执行过程中，分布式资源调度系统的计算节点会实时监控用户资源使用情况，如果使用超过了预先申请配额，会直接结束用户的任务进程。

因此，上述方案存在如下缺陷：一方面，当计算任务作为一个定时任务时，由于用户在提交任务的时候并不知道需要多少资源，如果申请过大，会存在极大的资源浪费问题；另一方面，如果预申请过小，在计算任务执行过程中存在被终止的不稳定因素，使得计算任务不能被有效的执行，进而降低了执行效率；再一方面，如果通过重试调大预申请的资源，则会极大的增加待执行任务的执行时间。

因此，需要提供一种新的资源配置方法及装置。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种资源配置方法、资源配置装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的执行效率较低的问题。

根据本公开的一个方面，提供一种资源配置方法，包括：

接收包括待执行任务的资源配置请求，响应所述资源配置请求从配置中心获取与所述待执行任务的任务名称对应的目标配置参数；其中，所述任务名称包括注册标识，所述注册标识与所述目标配置参数一一对应；

对所述目标配置参数进行解析，得到所述待执行任务在执行过程中所需要的目标物理内存使用量以及目标虚拟内存使用量；

根据所述目标物理内存使用量以及目标虚拟内存使用量，为所述待执行任务配置对应的内存资源。

在本公开的一种示例性实施例中，所述资源配置方法还包括：

从任务运行数据库中获取所述待执行任务的任务运行日志，并对所述任务运行日志进行格式化处理得到包括所述待执行任务的注册标识、时间戳、实际物理内存使用量以及实际虚拟内存使用量的第一处理结果；

从资源使用数据库中获取所述待执行任务的资源使用日志，并对所述资源使用日志进行解析得到包括所述待执行任务的注册标识、任务名称、任务资源使用总量以及执行时间的第二处理结果；

根据所述注册标识对所述第一处理结果以及第二处理结果进行关联，并根据关联后的所述第一处理结果以及第二处理结果得到所述待执行任务的当前配置参数；

利用所述当前配置参数对所述目标配置参数进行更新。