[发明专利]基于流式计算的资源管理方法及装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于流式计算的资源管理方法及装置。

背景技术

在流式计算中，对于重要的计算往往会添加多份备份。以便于当一条计算流失效时，其他的计算仍然可用，从而不影响整体的服务质量。当然，每一条计算流的资源都会受到限制，仅保留可见的必要的余量，以保证峰值期间仍然可用。

近年来，随着流式计算业务的发展，数据量也逐步增大，通常会发生一些突发状况。例如高峰期流量超出预期。在此状况下，任何一条计算流都会因数据量暴增而处理不及时，导致延时，进而无法满足可靠性要求。现有技术一般采用投入更多的计算资源的方式来保证服务质量。然而，上述方式具有无限制地获取额外资源，流量低峰期造成资源闲置等不足之处。

发明内容

本发明实施例的目的在于，提供一种基于流式计算的资源管理方法及装置，以实现在流式计算过程中，自动地调整分配给计算流的既有资源以适应数据量骤增等突发状况，并保证服务质量。

为实现上述发明目的，本发明的实施例提供了一种基于流式计算的资源管理方法，包括：分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度；根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。

优选地，所述根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整的处理包括：根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值，并且根据所述计算流的延迟时间长度分别计算在预定的时间间隔内所述计算流的平均延迟时间长度；根据为所述多条计算流赋予的权值以及计算的平均延迟时间长度分别计算所述多条计算流的价值评分；根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整。

优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理包括：增加为计算出的价值评分低于预定的第一价值阈值的计算流分配的资源。

优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理包括：根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则增加为计算出的价值评分低于预定的第二价值阈值的计算流分配的资源。

优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理包括：根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则选取权值最大的计算流，并计算选取的计算流的价值评分，如果所述选取的计算流的价值评分低于预定的第三价值阈值，则增加为选取的计算流分配的资源。

优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整的处理还包括：减少为计算出的价值评分高于预定的第四价值阈值的计算流分配的资源。

优选地，所述根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值的处理包括：根据计算流的数据订阅流量在全部计算流的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。

优选地，所述分别获取多条计算流的延迟时间长度的处理包括：根据计算流的收到确认时间和数据订阅时间分别计算所述计算流的延迟时间长度。

本发明的实施例还提供了一种基于流式计算的资源管理装置，包括：数据获取模块，用于分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度；资源调整模块，用于根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。

优选地，所述资源调整模块包括：权值及延迟时间计算单元，用于根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权值，并且根据所述计算流的延迟时间长度分别计算在预定的时间间隔内所述计算流的平均延迟时间长度；价值评分计算单元，用于根据为所述多条计算流赋予的权值以及计算的平均延迟时间长度分别计算所述多条计算流的价值评分；资源调整单元，用于根据计算的所述多条计算流的价值评分对分配给所述计算流的资源进行调整。

优选地，所述资源调整单元用于增加为计算出的价值评分低于预定的第一价值阈值的计算流分配的资源。

优选地，所述资源调整单元用于根据为所述计算流计算出的价值评分计算所述多条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阈值，则增加为计算出的价值评分低于预定的第二价值阈值的计算流分配的资源。