[发明专利]一种基于数据压缩的可扩展的监控方法及系统

说明书

技术领域

本发明涉及大规模分布式系统的监控领域，具体涉及到一种基于数据压缩的可扩展的监控方法及系统。

背景技术

为了有效的管理分布式计算系统，操作者必须了解当前系统及应用的行为。这就需要不间断的进行监控以提供给操作者该系统的当前状态。当计算机系统的结点规模扩展时，系统中的任何位置都可能变成瓶颈。因此，一个监控系统应该具有良好的可扩展性，以提供实时的监控数据。

数据收集时间间隔的粒度是监控系统的一个挑战。若时间粒度太粗，则获取的信息不能实时的描述出计算系统当前状态；若时间粒度太细，会增加计算系统的负载，使监控系统的扩展性降低。而且，同一个时间粒度，对一些度量可能太粗，但对其他的一些度量可能又太细。所以一个监控系统中，时间粒度的选取依赖于度量特性。

现有技术中存在一个用于分布于全球的计算机群（PlanetLab）的监控系统CoMon。CoMon是以中心化结构组织的，其实现包括两个守护程序：切片中心守护程序（Slice-centric daemon,SCD）和结点中心守护程序（Node-centric daemon,NCD）。每个结点上均运行着SCD和NCD，SCD聚集每个切片中所有进程消耗的资源。NCD通过操作系统提供或其他工具测量获取所在结点的状态信息。用户可以通过网络浏览器进行访问这些数据。每5分钟进行收集所有结点的信息，并将该信息写入相应的文件中。然而，中心化的结构限制了监控系统的扩展性。而且5分钟的时间粒度对有些指标太粗，而对另一些指标又太细。

现有技术中的Chukwa是一个监控和分析大型分布式系统的数据收集系统。Chukwa是在Hadoop（一个开源分布式系统且在其上实现了MapReduce:一种用于大规模并行计算的编程模型）上层进行实现，且保留这Hadoop的扩展行和健壮性。Chukwa是通过采集器和收集器来实现数据的收集的。收集器收集其所在结点上的状态信息，包括Hadoop日志和任务进度等。每个收集器收集来自数百个主机的数据，并将其全部写入由数据块和表示块来源及格式的元数据组成的单个文件（sink file,SF）。收集器定期的关闭他们的SF，并将其重命名以标记为可处理，并重新写新的SF。然后Hadoop周期性的执行两个MapReduce作业：第一个作业是仅将所有的SF进行存档；第二个作业是将存档的数据解析为结构化数据，并保存到Hadoop分布式文件系统（HDFS）。然后用户可以以MapReduce作业的形式对这些结构化数据进行分析。Chukwa依赖于Hadoop平台，关注的是大量日志文件的分析。

而现有技术中还存在一个用于大规模并行和分布式计算环境的监控系统，该系统也是以层次结构进行监控。该系统主要包括三个层次：后端进程（Back-end process,BE）、中间进程和前端进程（Front-end process,FE）。BE运行在需要监控的节点上，进行数据的收集，然后将数据发送给中间进程或直接发送给FE；中间进程对数据进行聚集、分析和过滤。然后将处理后的数据发送给FE；FE将接收到的数据存入数据库或直接显示在前台，用户可以使用结构化查询语言（Structured Query Language,SQL）访问数据库，以获得计算环境的历史状态。该监控系统内部通信使用的是自定义的格式，与ganglia系统相比，减少了由XML格式增加的传输量。但该监控系统收集数据的时间粒度由用户自己指定，而且没有考虑不同度量所需时间粒度的不同。