[发明专利]一种基于排队建模的批量流式计算系统性能保障方法

说明书

本发明公开了一种基于排队建模的批量流式计算系统性能保障方法，性能保障方法分为五个步骤，过程划分、组件选取、性能建模、延迟计算和瓶颈定位及优化。本方法针对批量流式计算系统在运行过程中负载强度具有明显波动性特征，抽取了批量流式计算系统中的关键组件，依据排队论理论构建系统的性能模型，并对模型进行数学解析；然后在系统运行过程中使用该模型计算不同负载强度下系统的数据处理延迟；在数据处理延迟无法满足数据处理时效性需求时，依据排队论原理定位性能瓶颈组件并给出优化配置建议。

技术领域

本发明属于分布式计算领域，具体涉及批量流式计算系统的性能分析与优化方法。

背景技术

流式数据是大数据的一种重要数据类型，具有连续性、易失性、动态性等特征。大数据流式计算是针对流式数据的分析处理技术，以数据处理时效性为性能目标，快速挖掘流式数据价值。批量流式计算是大数据流式计算的一个重要分支。批量流式计算的核心技术特征是将接收的流式数据按时间顺序切分为多个小批次，并使用类MapReduce的批量计算周期地进行处理。批量流式计算在物联网传感器实时数据流处理、社交网络数据流分析等领域有广阔的需求和应用前景，已成为研究热点。

流式数据的动态性和处理时效性需求驱动批量流式计算系统在线性能保障方法研究。在线性能保障是指在系统负载动态变化的前提下，通过自适应的性能分析和优化，保障系统稳定地达到预期的性能目标。目前，针对批量流式计算系统的性能保障方法尚处于初级阶段，主要集中在以批量流式计算的某一关键阶段存在性能瓶颈为假设前提，提出相应的性能优化方案。然而，批量流式计算系统是由数据接收、存储、处理等多阶段多组件构成的复杂系统，各阶段组件之间存在数据传递和性能依赖关系。如何针对动态变化的数据负载快速评估出系统的性能并能够在诸多组件中准确定位性能瓶颈是进行性能优化的前提，其本身也存在较大的技术挑战。目前，批量流式计算系统在线性能保障方法尚缺乏有效的性能评估和瓶颈定位方法，这使得所提出的性能优化方案在实际运用中存在盲目性。具体而言，既有性能保障方法存在如下问题：

(1)无法根据系统负载的变化快速评估系统性能，实施性能保障存在滞后性。既有方法在系统负载强度变化时，需要经过一段时间的观测统计才能确定在新的负载强度下系统的平均性能。这难以适应流式系统负载快速变化的特征，导致性能保障存在滞后性，不能在负载强度变化时及时对系统性能做出评估。

(2)没有综合考虑各阶段组件的性能依赖关系，无法准确定位性能瓶颈。现有技术在系统性能无法达到预期目标时，没有考虑各组件间的复杂的性能依赖关系，而是简单地选择某一关键组件实施优化方案，无法准确定位性能瓶颈，且无法对所采用的优化方案进行优化后的性能评估，降低了性能保障效率。

综合而言，目前尚未存在基于准确性能评估和瓶颈定位的批量流式计算系统性能保障方法。

发明内容

针对上述问题，本发明提出一种基于排队论的批量流式计算系统在线性能保障方法。本发明首先抽取批量流式计算系统中的关键组件，依据排队论理论构建系统的性能模型，并对模型进行数学解析；然后在系统运行过程中使用该模型计算不同负载强度下系统的数据处理延迟；在数据处理延迟无法满足数据处理时效性需求时，依据排队论原理定位性能瓶颈组件并给出优化配置建议。

排队论是人们研究大量服务过程的一门数学理论。排队论将排队系统抽象为输入过程、排队规则和服务规则三个部分，并利用排队系统的特征选取相应的排队模型，计算顾客在系统中的平均响应时间，包括等待时间和服务时间。排队论广泛应用于计算机网络、分布式系统、生产运输等资源共享的随机服务系统。本发明就是利用排队论原理对批量流式计算系统进行性能分析，使得系统的各个组件能有效运行，并发挥最大效益。

本发明提供技术方案如下：