[发明专利]一种资源治理方法和装置

说明书

本发明公开了一种资源治理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：采集实时计算任务的元数据信息；基于所述元数据信息和预设的规则，确定所述实时计算任务占用的资源情况；在占用的资源情况满足资源回收条件时，则反馈资源回收信息，所述资源回收信息用于指示回收至少部分预分配给所述实时计算任务的资源，所述资源回收信息包括可回收的资源类型和相对应可回收的资源量。该实施方式能够在不干扰实时计算任务顺利运行的同时提高实时计算平台资源利用率，节省实时计算平台资源成本，还能够定量分析需要减少的资源量，从而最大化提高资源利用率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种资源治理方法和装置。

背景技术

随着互联网技术的不断发展，互联网大数据的趋势日益显著，数据处理的时效性、准确性、稳定性越来越重要，在此趋势下，大数据实时计算平台应运而生。大数据实时计算平台可以为企业提供精准的数据加工、数据存储、数据计算等服务。为保证业务能够顺利进展，业务方会估算任务所需的资源，从而配置软硬件环境。目前，常用的计算任务所需资源的方法包括如下几种：(1)根据实时计算任务输入数据量大小评估所需资源量；(2)根据实时计算任务计算逻辑复杂程度评估所需资源量；(3)根据实时计算任务依赖的外部服务处理效率及网络等因素评估所需资源量；(4)根据实时计算任务多次调试得出所需资源量。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

各业务对资源的需求没有准确的计算方式，不能准确的计算出各业务所需的资源，而为了满足业务发展的需求，平台需要不断增加软硬件方面的基础建设，容易导致资源浪费问题，使得实时计算平台的资源没有得到充分利用。而且，不断增加软硬件方面的基础建设也会时成本不断上升，不利于业务的快速发展。

发明内容

有鉴于此，本发明实施例提供一种资源治理方法和装置，能够在不干扰实时计算任务顺利运行的同时提高实时计算平台资源利用率，节省实时计算平台资源成本，还能够定量分析需要减少的资源量，从而最大化提高资源利用率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种资源治理方法，包括：

采集实时计算任务的元数据信息；

基于所述元数据信息，确定所述实时计算任务占用的资源情况；

在占用的资源情况满足资源回收条件时，则根据预设的规则确定资源回收信息，所述资源回收信息用于指示回收至少部分预分配给所述实时计算任务的资源，所述资源回收信息包括可回收的资源类型和相对应可回收的资源量。

可选地，所述可回收的资源类型包括分配给所述实时计算任务的执行单元或硬件配置。

可选地，所述实时计算任务占用的资源情况包括：所述实时计算任务占用的资源量，或所述实时计算任务占用的资源使用率；

占用的资源情况满足资源回收条件包括：预定周期内所述占用的资源量的最大值小于预分配给该实时计算任务的资源，或预定周期内所述资源使用率的最大值小于资源阈值；

根据预设的规则确定资源回收信息包括：

根据所述实时计算任务占用的资源使用率和所述资源阈值，确定可回收的执行单元的数量或硬件配置。

可选地，根据下式确定可回收的执行单元的数量或硬件配置：

R₁＝(S-K)×R₂

其中，K表示资源使用率，S表示与资源使用率对应的资源阈值，R₂表示实时计算任务占用的执行单元的数量或占用的硬件配置，R₁表示可回收的执行单元的数量或硬件配置。