[发明专利]基于分布式流计算的运维管理系统

说明书

一种基于分布式流计算的运维管理系统包括：数据融合模块(100)，用于将IT运维数据流的IT运维数据的格式修改为包含有其与另一个IT运维数据相关联的连接属性数据的图数据格式；计算控制模块(200)，用于分布式处理经数据融合模块(100)处理后的IT运维数据流，并用于将具有图数据格式的IT运维数据分割为具有图数据格式的离散数据流，然后分布式处理该离散数据流。本发明的运维管理系统设计巧妙，实用性强。

技术领域

本发明涉及IT运维领域，尤其涉及一种基于分布式流计算的运维管理系统。

背景技术

随着移动互联网的普及率越来越高，人们生活的方方面面都受到了互联网的影响，当前，人们出行只需带上一部智能手机，就可以完成诸如网上约车、网络购物、网上缴费等业务，既简单又快捷。但在支撑这些应用场景的背后，则是不断产生的海量用户行为数据，并且大部分是实时的非结构化数据，这给传统IT运维人员的工作带来了极大的挑战。如何实时获取海量数据中的关键信息，并实现快速精准分析至关重要。单靠当前传统的批处理以及监控模式很难实现。具体地,大量信息源带来数据规模的爆发式增长。在目前复杂、海量、异构的数据环境中,不仅包含静态的、离线的、结构化的数据,还有实时传输的、持续产生的、非结构化的数据,例如传感器网络实时产生的监控数据,在线服务器产生的统计信息,网站的访问日志,路由器数据报的统计。这些数据时时刻刻都在“运动”。面对这些“无限”运动着的数据,如果不能对其进行高效率的实时处理,将错过数据流中携带的关键信息。整合来自多个异构数据源的“运动”数据,在其“运动”的过程执行复杂的逻辑处理,包括数值计算、数据挖掘和模型预测,实时地给出用户关心的结果,这是传统分布式计算模式所无法做到的。

此外，传统的IT运维通常是运维人员对部分关键业务编写监控脚本。当系统发生故障之后，运维人员紧急联系研发人员一起分析定位问题，并采取相应的补救措施；其运维数据多被孤立地用在运维诊断上，在采集、分析数据，出具预警和处理措施上，暴露出不够全面、统一、综合的问题，仍然倾向于比较孤立地建基在片面的数据源。于是，运维人员日常大部分时间和精力都花在处理简单且重复的问题上，并且由于脚本分散，故障预警机制也非常不完善，往往是故障发生后人工进行处理，没有自愈能力。运维人员如同“消防员”，每天处于被动“救火”状态，这种被动的运维模式让运维人员疲惫不堪。运维质量也无法提高。

发明内容

本发明针对上述技术问题，提出了一种基于分布式流计算的运维管理系统。

本发明所提出的技术方案如下：

本发明提出了一种基于分布式流计算的运维管理系统，包括：

数据融合模块，用于将IT运维数据流的IT运维数据的格式修改为包含有其与另一个IT运维数据相关联的连接属性数据的图数据格式；

计算控制模块，用于分布式处理经数据融合模块处理后的IT运维数据流，并用于将具有图数据格式的IT运维数据分割为具有图数据格式的离散数据流，然后分布式处理该离散数据流。

本发明上述的运维管理系统中，连接属性包括静态拓扑里两节点间的物理连接，和/或动态网络里节点连接，和/或瞬时的web、tcp连接，和/或网络层次里上下层级的父子关系，和/或虚拟环境里控制器和被控制单元的管理关系。

本发明上述的运维管理系统中，IT运维数据为带时间戳的日志数据。

本发明上述的运维管理系统中，数据融合模块包括：

数据推理核心模块，用于将IT运维数据流的IT运维数据的格式修改为包含有其与另一个IT运维数据相关联的连接属性数据的图数据格式；

图数据融合模块，用于对具有图数据格式的IT运维数据流进行数据融合，以得到融合数据流；

融合指标检测模块，用于基于数据融合指标算法和融合数据流评估数据融合模块的工作。