[发明专利]一种基于大数据的自愈规则挖掘方法及装置

说明书

本发明实施例提供一种基于大数据的自愈规则挖掘方法及装置，其中，方法包括：采集业务数据、性能数据以及日志数据作为样本数据；对所述样本数据进行预处理，将所述样本数据转换为适用于数据挖掘的形式；对预处理后的样本数据进行关联规则挖掘，获得一定数量的强关联规则，每一条强关联规则中至少包括业务数据和性能数据；对所述强关联规则进行验证，若所述强关联规则必然对应异常现象出现，则将所述强关联规则作为自愈规则。本发明实施例极大程度减少对人为经验的依赖，同时减少专业人员的精力投入，节省了大量人力。

技术领域

本发明涉及数据挖掘技术领域，更具体地，涉及基于大数据的自愈规则挖掘方法及装置。

背景技术

电信行业为适应用户数不断增长，以及业务类型不断扩展，业务受理系统设计也随之发展，呈现出架构关系复杂、节点规模庞大、系统更新频繁等特点。面对如此复杂、庞大又多变的“超级”系统，运维人员仍要保持异常快速恢复的目标，是一项巨大的挑战。如何在复杂、庞大、多变的系统中快速定位细微异常并快速解决，现行主流方案是通过运维自动化方式来实现，针对此类情况的自动化方式主要采用的是自愈手段，自愈过程依赖于自动化流程驱动，其中判定自愈的规则依据是整个自愈的内核，如何制定规则目前常见的解决方式如下：

方案一：引用业界通用规则，基于业界公认的运行指标信息作为依据，生成自愈规则，例如硬件的运行指标CPU使用率、内存使用率等。但目前被业界广泛认可的只有主机、网络等通用设备的规则指标，而超出这个范畴的其他异常点则是盲区，在实际应用中，往往这些盲区是异常高发点，从规则适用范围来看，引用通用规则的自愈比较片面，规则适用范围较少。

方案二：采用人脑转化规则的方式，最为传统的将基于人为的经验由人工经验总结的方式转化规则，主要依赖人员的历史经验、技术能力以及总结归纳能力。但该方案对人员能力依赖较强，且人脑转化出的规则相对简单，随着系统愈发复杂庞大，从规则产出效率来看，人脑转化的规则沉淀的产出效率低下，无法跟上系统发展的步伐。

方案三：采用一事一案的个性规则设计，在故障恢复后，对故障发生及处理过程重新梳理一遍，找出故障根因，并针对该故障提炼出故障特征，对其固化成自愈规则，避免出现相同的故障。该方案对超出本故障范围的其他问题无法辐射到，每个规则的个性使得其无法快速适应系统变化，规则很容易变为无效，从规则使用效果来看，随着系统的变化，规则的精准性无法保证。

综上，现有的技术方案都存在严重的不足，从规则适用范围、规则产出效率、规则使用效果等方面都已无法适应当前系统维护的自愈需求。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的基于大数据的自愈规则挖掘方法及装置。

第一个方面，本发明实施例提供一种自愈规则的挖掘方法，包括：

采集业务数据、性能数据以及日志数据作为样本数据；

对所述样本数据进行预处理，将所述样本数据转换为适用于数据挖掘的形式；

对预处理后的样本数据进行关联规则挖掘，获得一定数量的强关联规则，每一条强关联规则中至少包括业务数据和性能数据；

对所述强关联规则进行验证，若所述强关联规则必然对应异常现象出现，则将所述强关联规则作为自愈规则

第二个方面，本发明实施例提供一种自愈规则的挖掘装置，包括：

样本数据获取模块，用于采集业务数据、性能数据以及日志数据作为样本数据；

预处理模块，用于对所述样本数据进行预处理，将所述样本数据转换为适用于数据挖掘的形式；

关联规则挖掘模块，用于对预处理后的样本数据进行关联规则挖掘，获得一定数量的强关联规则，每一条强关联规则中至少包括业务数据和性能数据；