[发明专利]一种带状态流计算系统中的异常监控及预测方法和系统

说明书

本发明提出了一种带状态流计算系统中的异常监控及预测方法和系统，该方法主要对带状态的流计算系统进行全面实时监控并采集系统性能指标；采用数据降维方法对分类器输入数据进行预处理，然后利用分类算法获取最优的分类平面；通过系统预测模块预测系统下一时刻的运行状态；将预测的运行状态构成的平面与分类器所得的最优分类平面进行比较，最终可以预测出系统是否出现异常，并根据检查结果对分类器进行更新，使得获取的分类平面能自适应系统运行状况，最终达到监控及预测系统运行状态的目的。降维处理不仅实现了降维的目的，减少特征向量的维数，而且缩短了训练时间，计算量并没有随着维数升高而增加很多。

技术领域

本发明涉及计算机技术领域，涉及利用机器学习算法对带状态流计算系统的特征属性进行分析处理，具体涉及一种带状态流计算系统中的异常监控及预测方法。

背景技术

近年来，随着社会数据量的日益膨胀，流式计算系统已经成为计算机工业界和学术界的关注热点，并在各领域受到广泛使用，从生产应用方面来看，流计算已经初步走入大型电信系统，电力电网系统，银行金融交易系统等重要应用领域，同时在学术界，流计算系统在各类国际顶级学术会议中获得高度关注。数据流式计算是一种实时产生、实时处理的一个数据处理模式，并且数据的价值随着时间的推移而降低，所以当一个事件发生后需要立即进行处理，与批处理技术有显著的区别。但是流式计算系统处理的事件流是简单的、无状态的，其事件流所含信息量往往相对较少，只能解决简单的统计、预处理以及初级的流计算任务，导致流式计算系统不能处理一些复杂任务，因此需要考虑事件流之间的关联，并将这些有关联的事件流在一个时间窗口内进行计算、聚合等操作，形成复杂的事件流，从而生成更高抽象层次、符合业务需求的高级事件，提高系统上层的决策能力。

带状态的流式计算是实时处理有状态事件流的重要方式。在该系统中，基本事件为监控到系统运行时的系统特征，异常事件包括计算机重新启动、系统参数变化、电源故障、通信中断等。经过事件解析和内存数据库的交互得到具有语义的基本事件流，经过流计算引擎的聚合、筛选和计算形成高级的复杂事件，就可以检测出系统的故障。系统连续监控每个组件的行为，周期性收集系统日志数据，例如，CPU空闲时间、可用内存，空闲的处理器时间等作为特征流元组，元组的状态可以分为两类：正常和异常。如果发现系统出现异常，则监控系统对当前的系统数据进行备份。面对安全性需求很高的领域，把复杂事件处理技术应用其中，这将导致该行业面临着严重的安全威胁，所以安全问题仍然是制约流式计算系统发展的主要因素。

由于流计算系统处理的事件都是有状态的，但状态的转换需要等待下一状态事件的发生，在该事件发生的过程中外部进入系统的事件流会急剧增高，对系统造成极大的负荷，并且事件发生的状态是不可控的，即事件在内存中等待的时间是不确定的，容易引起内存的聚集，如何解决对带状态流计算系统的异常监控及预测是当中亟待解决的问题。如果无法保证系统高效可靠的运行，云计算、物联网、移动互连、社交媒体等新兴信息技术的发展将遭受很大的阻碍。目前带状态流计算系统的异常监控主要存在以下几个问题：(1)只能查看系统的当前状态，无法对系统之前监控数据进行查询和比对，从而不能完成合理的系统性能评估分析、优化以及系统集群规模伸缩性预测。(2)现有异常检测方式比较被动，使得故障发生之后才能得到解决，不但延长了故障时间，而且大大降低了集群系统的可用性。(3)缺少对整个集群系统的全方面状态信息监控，无法了解系统之间的联系，缺少多故障发生时定位故障源的参考依据。

发明内容

本发明提供一种带状态流计算系统中的异常监控及预测方法和系统，根据监控到系统当前的运行状态预测下一时刻系统的状态，判定系统是否会发生异常，从而提高带状态流计算系统的可靠性和稳定性。