[发明专利]基于多粒度过滤的日志数据收集方法及系统

权利要求书

1.基于多粒度过滤的日志数据收集方法，其特征在于，所述方法包括以下步骤：

S100，获取已有的日志数据，确定已有的日志数据的聚类个数C，并从已有的日志数据中随机挑选相应的C个日志数据作为C个聚类数的聚类中心v_i，i∈[1，C]；

S200，计算所有的已有的日志数据到每个聚类中心的距离d_ij，并将每个日志数据归于与其计算距离最小的聚类中心对应的类别中，形成C个数据类别；

S300，将每个数据类别中的数据的特征值进行平均以得到更新的聚类中心v_i；

S400，重复步骤S200-S300直到聚类中心趋于稳定，最终形成C个稳定的数据类别；

S500，获取未知的日志数据，计算未知的日志数据与C个稳定的数据类别的欧氏距离范数得到C个距离d_q，其中q∈[1，C]；

S600，提取C个距离中距离最小的k个距离对应的稳定的数据类别；

S700，计算未知的日志数据与k个距离对应的稳定的数据类别之间的隶属度，选取隶属度计算值最高的的数据类别，将未知的日志数据存入该数据类别中。

2.根据权利要求1所述的基于多粒度过滤的日志数据收集方法，其特征在于，上述步骤S300中计算得到更新的聚类中心v_i的方法具体包括以下，

将已有的日志数据设为数据集X＝{X₁，X₂，...,X_n},其中每个数据对象X_j具备s个属性，即X_j＝{X_j1，X_j2，...,X_js}，其中X_jk是数据对象X_j的第k维属性，k取[1，s]；

每个特征值的计算公式如下，

已有的日志数据到每个聚类中心的距离为欧氏距离，具体通过计算欧式距离的相关公式计算得出。

3.根据权利要求1所述的基于多粒度过滤的日志数据收集方法，其特征在于，上述步骤S400中对于聚类中心趋于稳定的判定条件为，

为每个数据类别设定目标函数J，

其中，d_ij为第i个聚类中心v_i与第j个数据对象X_j的欧式距离。

4.根据权利要求1所述的基于多粒度过滤的日志数据收集方法，其特征在于，上述步骤S700中计算未知的日志数据与k个距离对应的稳定的数据类别之间的隶属度的相关计算公式具体包括以下，

其中w_i为权重调节因子，其计算公式如下，

d_iu指的是稳定的数据类别之间距离；

其中M表示未知的日志数据最终确定的稳定的数据类别，C表示数据类别总数，b为调整参数，人为设定，b∈[0，1]。

5.基于多粒度过滤的日志数据收集系统，其特征在于，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

已有的日志数据分类单元，用于获取已有的日志数据，确定已有的日志数据的聚类个数C，并从已有的日志数据中随机挑选相应的C个日志数据作为C个聚类数的聚类中心v_i，i∈[1，C]；

数据类别生成单元，用于计算所有的已有的日志数据到每个聚类中心的距离d_ij，并将每个日志数据归于与其计算距离最小的聚类中心对应的类别中，形成C个数据类别；

聚类中心更新单元，用于将每个数据类别中的数据的特征值进行平均以得到更新的聚类中心v_i；

稳定的数据类别生成单元，用于重复执行数据类别生成单元以及聚类中心更新单元直到聚类中心趋于稳定，最终形成C个稳定的数据类别；

未知的日志数据获取单元，用于获取未知的日志数据，计算未知的日志数据与C个稳定的数据类别的欧氏距离范数得到C个距离d_q，其中q∈[1，C]；

提取单元，用于提取C个距离中距离最小的k个距离对应的稳定的数据类别；

未知的日志数据的分类单元，用于计算未知的日志数据与k个距离对应的稳定的数据类别之间的隶属度，选取隶属度计算值最高的的数据类别，将未知的日志数据存入该数据类别中。