[发明专利]一种通过加权熵判断分布式集群可靠度的方法和系统

说明书

本发明涉及一种通过加权熵判断分布式集群可靠度的方法和系统，属于分布式集群可靠性领域，通过预先为不同严重性的日志事件分别进行赋权，然后利用滑动窗口统计该时段内集群各节点的不同类型系统日志数量，进而计算各节点的错误率，并根据该错误率计算集群的可靠性加权熵，最后根据波动大小判断集群稳定性。通过该方法量化了系统可靠性，不但可以通过简单部署就能对整个集群的可靠性进行量化判定，而且还可对集群的稳定程度进行实时监控，及时了解集群的环境变化，当集群的可靠性出现较大波动时可及时采取相应措施处理。

技术领域

本发明涉及分布式集群可靠性领域，特别涉及一种通过加权熵判断分布式集群可靠度的方法和系统。

背景技术

集群技术，顾名思义，它将多个系统连接到一起，使多台服务器能够像一台机器那样工作或者看起来好像一台机器。由于单台机器的处理能力有限，此技术能把有限的资源整合成一个庞大的资源，从而应对更大计算或存储性能的需求，进而提高系统稳定性和网络中心的数据处理能力及服务能力。鉴于该优势，集群技术大行其道，常用的工具如Hadoop、spark、flink等便是集群技术的典型应用。现有的海量数据分析都是基于大量节点组成的集群来解决的，且随着人工智能、机器学习等技术的持续更新发展，集群越来越发挥其不可替代的作用。

总体来说，集群具有以下特点：

高可伸缩性：服务器集群具有很强的可伸缩性。随着需求和负荷的增长，可以向集群系统添加更多的服务器。在这样的配置中，可以有多台服务器执行相同的应用和数据库操作；

高可用性：服务器集群具有防止系统发生故障或从故障中自动恢复的能力。通过把故障服务器上的应用程序转移到备份服务器上运行，集群系统能够把正常运行时间提高到大于99.9％，大大减少服务器和应用程序的停机时间；

高可管理性：系统管理员可以从远程管理一个、甚至一组集群，就好象在单机系统中一样。

基于以上种种优势，集群被广泛的部署应用，大型企业集群的节点数量已成百上千，更有甚者部署上万也不足为奇。但随着规模的不断增大，各种问题接踵而至，节点的可靠性便为一个急需解决的问题。集群可以建立在很多廉价的硬件设备上，因此任何时候都很容易出现故障，可靠性无法保证，如果放任不管，集群性能会越来越差，甚至崩溃。且集群运行时，如果有异常干扰，性能便会有较大的波动，如果不能及时发现这些潜在威胁，很可能会导致不可估量的损失。

目前，国内外在对集群的可靠性进行判断方面研究从数据来源看大致分为两类：根据系统日志分析和根据节点性能指标分析。

系统日志策略可以在故障刚刚发生时就向你发送警告信息，帮助用户在最短的时间内发现问题，它会在问题出现时记录硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹，也可以通过监测该日志来获取目前节点的状态。因此如有监测到日志警报异常，则证明此时该节点可能出现可靠性波动。

节点性能指标根据硬件类别包含：CPU、内存、I/O、硬盘及其它指标，这些指标均代表机器在该方面的性能状态，某一项指标过高，则证明其利用率增加。单个指标之间也不是毫无联系，常常存在耦合性。如果某些指标在正常状态下出现较大波动，则证明该节点可能出现异常。用户可以通过实时监测这些指标来获取节点目前的性能状态，进而判断其可靠性。

论文《加权模糊相对熵在电机转子故障模糊识别中的应用》，该论文的方法将加权思想引入到模糊相对熵，用于识别电机转子故障严重程度。主要基于符号时间序列分析模糊相对熵，然后根据加权模糊相对熵识别方法进行电机故障诊断识别。本发明与该论文的相同点包括：都是通过加权思想与熵结合，用于检测时间序列中的异常；不同点包括：首先，应用方面不同，该论文是检测电机转子故障，而本发明是检测集群可靠性；其次，该论文运用相对熵来衡量异常，而本发明用信息熵大小来衡量可靠性的波动性。