[发明专利]一种面向并发数据分析任务的性能瓶颈分析系统

说明书

本发明涉及一种面向并发数据分析任务的性能瓶颈分析系统，所述系统包括：PeBAO框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈相关性分析和瓶颈优化建议功能。本发明通过PeBAO框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈相关性分析和瓶颈优化建议；能够准确的分析任务与性能瓶颈的相关性，解决了运维人员难以准确还原瓶颈产生时的运行情况的问题，能够准确的定位性能瓶颈，并提供瓶颈分析报告。

技术领域

本发明涉及计算机应用技术领域，尤其涉及面向并发数据分析任务的性能瓶颈分析系统。

背景技术

随着各领域数据量和用户数量的不断增加，数据分析系统在处理并发任务时会出现任务执行时间过长、系统响应速度慢等性能问题，这些问题将直接关系到用户体验和企业利益。

随着大数据时代的到来，用于分析和挖掘数据内部规律的产品层出不穷，但只有高质量的产品及高效的软件服务才能为企业保持顾客粘性，由独立厂商OLAP研究机构提出的FASMI(Fast Analysis of Shared Multi-dimensional Information)特征表明：对于用户的大部分数据分析要求，系统应该能够在5秒内作出反应；对于简单的分析要求，系统应该能够在1秒内作出反应；而对于极少数的分析要求，响应时间可能超过20秒。

传统的性能分析仅仅通过观察系统资源(CPU、IO、内存)的使用情况对系统性能进行研究，停留在狭义的性能指标表象阶段。这样的方法缺乏对性能瓶颈更深层次的挖掘，运维人员往往还需要结合性能指标与系统内部运行情况(系统日志)进行更深层次的性能瓶颈相关性分析。

而数据分析系统支持多用户并发操作，并发任务会产生集CPU、IO、内存瓶颈于一体的混合瓶颈；在现有技术中，由于性能瓶颈具有持续时间不定，不可复现等特点，运维人员难以准确还原瓶颈产生时系统的运行情况，导致无法准确定位性能瓶颈并提供瓶颈分析报告。

发明内容

为了解决现有技术存在的上述技术缺陷，本发明提供了一种面向并发数据分析任务的性能瓶颈分析系统，可以有效解决背景技术中的问题。

为了解决上述技术问题，本发明提供的技术方案具体如下：

本发明实施例公开了一种面向并发数据分析任务的性能瓶颈分析系统，所述系统包括：PeBAO框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈相关性分析和瓶颈优化建议功能。

在上述任一方案中优选的是，PeBAO框架包括：

时间序列异常检测模块，用于对数据分析系统采集性能指标数据，识别异常时间序列，并将异常时间序列输出至性能瓶颈判定模块；

性能瓶颈判定模块，用于收集异常时间段内执行的所有数据分析任务，将查询语句的结构特征和执行特征输入随机森林分类算法，判定每个任务的性能瓶颈等级，并将中等级性能瓶颈和高等级性能瓶颈类别的任务集合发送至性能瓶颈相关性分析及优化模块；

性能瓶颈相关性分析及优化模块，用于对任务与瓶颈的相关程度和查询操作与瓶颈的相关程度进行了量化，并结合启发式规则为每个数据分析任务提供查询优化建议。

在上述任一方案中优选的是，时间序列异常检测过程包括性能指标监控、时间序列数据获取、异常检测算法、时间序列异常判定和异常时间序列的输出。

在上述任一方案中优选的是，异常检测算法的处理流程如下：

在时间序列异常检测模块获取一段数据分析系统的性能指标数据后，对性能指标数据进行数据清洗；

对清洗完成的性能指标数据进行模式分片处理，将整段时序数据划分为若干时间窗口，每一个时间窗口为一个模式；其中，模式分片包含了固定分片和动态分片两种方法；