[发明专利]基于日志、流量和业务访问的业务系统运行状态智能研判系统

说明书

本发明公开了基于日志、流量和业务访问的业务系统运行状态智能研判系统，重构综合网管系统技术架构，包括：利用多种数据库构建分布式数据存储平台；利用kafka分布式部署环境将分布式数据存储平台内的数据，实现数据统一采集，集中推送，并送至综合网管系统；所述综合网管系统构建应用系统端口监控和物理存储监控系统，以及显示系统；根据获取的数据，对关键的业务系统运行日志、中间件运行日志、业务流程运行信息进行汇总整合，利用大数据智能分析方法，挖掘不同的日志模式与业务系统故障、性能低下现象之间的关联关系，形成关键业务系统运行状态智能研判模型。本发明能够有效提升信息网络及关键业务的保障能力、降低业务系统运行风险。

技术领域

本发明涉及数据监测领域，尤其涉及基于日志、流量和业务访问的业务系统运行状态智能研判系统。

背景技术

首先基于传统架构设计开发的综合网管系统，在信息通信网络资源设备数量急剧上升，对网络设备管理、运行可靠性提出了更高的要求，已出现了数据采集、查询和处理的性能瓶颈；且应用部署、升级和扩展方面比较复杂，对监控对象的变化适应性差等问题。

其次随着电力业务的迅猛发展，电力核心业务系统的正常、稳定运行是公司业务正常运行的关键。这对网络运行环境和业务系统整体监测提出了更高的要求。

当前综合网管系统在网络运行状态监测和业务系统运行监测上未实现智能研判，主要体现在以下两个方面：

1.在大批量告警出现情况下，仅能通过预先配置归集策略进行归集判断，对未配置策略的设备无法实现告警归集，即无法实现全网动态告警归集，这严重影响监控人员对告警的研判工作；

2.在业务系统监测上无法智能诊断分析组件监测、流程异常监测、接口吞吐量监测的异常情况和故障定位。

现有业务系统运行状态监测及故障预测，主要包括以下两方面技术路线：

（1）基于故障历史的故障预测方法。基于故障历史的故障预测方法全部基于如下假设：系统已经被正常配置，程序也是可以正确执行的(如果不能正确执行则为错误，而非故障)，因此系统出现故障往往是因为存在外界扰动，此类扰动必然使系统存在时间以及空间的周期性变化。导致故障的发生在时间以及类型上必然存在某种周期性，该方法则利用该特性对即将发生的故障进行预测。所以，基于故障历史概率分布的故障预测模型试图通过对历史故障时间间隔进行分析得到即将发生的故障在时间上的概率分布。通常此类方法会在系统非运行时利用故障历史信息对未来故障的发生进行可靠性预测，并将分析结果运用于系统运行时的故障预测中。

（2）基于状态监控的故障预测方法。此类方法目的在于通过监控系统状态的手段实现故障预测。通常，系统从出现异常到失效是一系列事件联合作用的结果。其中，当系统出现异常后，会产生边界效应，该方法即通过探测边界效应来判定系统是否即将出现差错。当系统检测到边界状态，则说明系统即将演化出失效等问题，而后根据模型预测出故障产生的时间以及类型。此类方法的故障预测时间Δtl较短，但故障发生时间窗口Δtp也很短，因此准确性较高，但难点在与要构建准确的模型的业务导入通常不足，并具有很高的构建成本，所以该方法没有得到大规模推广使用。

发明内容

本发明的目的提供于基于日志、流量和业务访问的业务系统运行状态智能研判系统，着眼于对关键的业务系统运行日志、中间件运行日志、业务流程运行信息进行汇总整合，利用大数据智能分析方法，挖掘不同的日志模式与业务系统故障、性能低下等现象之间的关联关系，形成关键业务系统运行状态智能研判模型，利用研判模型，实现对业务系统、中间件及业务流程的潜在故障的提前预测及预警。从而，能够有效提升信息网络及关键业务的保障能力、降低业务系统运行风险。

为实现上述目的，本发明提供了基于日志、流量和业务访问的业务系统运行状态智能研判系统，重构综合网管系统技术架构，包括：

利用多种数据库构建分布式数据存储平台；