[发明专利]一种基于Hadoop的分布式系统的健康度量方法

说明书

本发明提出了一种基于Hadoop的分布式系统的健康度量方法，属于软件健康监测领域。本方法选取分布式系统由于老化缺陷的存在而引起变化的健康表征元素，并分别监测在期望正常状态和待度量运行状态下健康表征元素的变化数据，建立两种状态下的高斯混合模型，并通过所观测的数据对模型中参数进行估计，最后将得到的两个高斯混合模型代入所建立的软件健康度量模型中，计算出软件健康度，并可根据健康度阈值来监测软件是否需要维护。本发明实现了对Hadoop的分布式系统软件的健康度量，为软件的故障告警和故障预测提供了依据，从而在系统出现异常情况之前提前告警，使维护人员及时采取措施，保证系统的运行稳定。

技术领域

本发明属于软件健康监测领域，主要涉及软件健康的度量，适用于Hadoop的分布式系统，具体地说，是指一种收集分布式系统软件的健康表征数据，应用高斯模型计算软件健康度的技术方案。

背景技术

Hadoop的分布式系统是以Hadoop为基础架构进行开发的。Hadoop是由Apache软件基金会设计的分布式系统基础架构，它的主要功能是用来存储和计算海量数据，用户可以在不了解Hadoop分布式底层细节的情况下，以Hadoop为基础开发分布式程序，充分利用集群的威力进行高速运算和存储。

Hadoop的分布式系统的典型结构如图1所示，它具有高可靠性、高可拓展性、高容错性和高效性的特点，因此备受大企业的青睐，例如百度用Hadoop分布式系统处理每周200TB的数据，从而进行搜索日志分析和网页数据挖掘工作；中国移动研究院基于Hadoop开发了“大云”(Big Cloud)系统，不但用于相关数据分析，还对外提供服务；淘宝的Hadoop分布式系统用于存储并处理电子商务交易的相关数据等。

随着网络发展的日新月异，人们面对的数据规模非常庞大，分布式系统的使用场景变化复杂，尽管Hadoop的分布式系统被设计成有着很高的容错机制，但是在使用过程中很少有方法能对它进行故障预警，来提醒客户及时对软件系统进行维护，以免发生故障造成损失。

基于此，本发明的核心思想是引入“软件健康”来表征Hadoop的分布式系统的使用情况是否正常，是“系统健康”在软件研究领域的一个新分支。所谓的软件健康是指在使用过程中，软件完成规定任务的能力程度。

目前系统健康度量技术主要是解决系统中硬件部件的健康度量和预警问题，并没有应用于解决系统中软件的健康问题，比如如何利用软件健康度来对12306火车订票系统的软件崩溃进行提前告警。究其原因主要是因为，目前的研究成果仅仅将软件健康度量与软件质量评估进行笼统地研究，或者单纯地从软件是否失效来判断软件是否健康，不能起到提前为系统故障预警的作用。

综上，目前软件健康领域已有的研究成果，并不是专门应用于在使用过程中为基于Hadoop的分布式系统的使用情况进行预警的，更没有形成一套能够直接应用在基于Hadoop的分布式系统上的健康度量方法。

发明内容

本发明针对Hadoop的分布式系统软件尚不存在具体的软件健康度量方法的问题，提出了一种基于Hadoop的分布式系统的健康度量方法，通过监测分布式系统在使用过程中，由于Aging-related Bugs(老化缺陷)的存在而引起的健康表征元素的变化，收集期望正常状态和待度量运行状态下的数据，建立健康度量模型，计算出软件健康度，为软件的故障告警和故障预测提供依据。

一种基于Hadoop的分布式系统的健康度量方法，针对分布式系统软件，实现步骤如下：

步骤一、选取软件健康表征元素。考虑老化缺陷的影响，选取的健康表征元素容易受到使用时间的影响，并且易于获取数据。

步骤二、数据收集。运行软件，分别在期望正常状态下以及待度量运行状态下，收集健康表征元素的数据。

步骤三、建立健康度量高斯混合模型。